تعرف على كيفية عمل بنية المحولات، بدءًا من آليات الانتباه وحتى نماذج التشفير وفك التشفير. فهم التكنولوجيا التي تعمل على تشغيل ChatGPT وBERT والذكاء الاصطناعي الحديث.
في كل مرة تطرح فيها سؤالاً على ChatGPT، أو تترجم جملة باستخدام ترجمة Google، أو تحصل على اقتراح رمز من GitHub Copilot، فإنك تشهد قوة المحولات في العمل. أصبحت بنية المحولات، التي تم تقديمها في عام 2017، أهم ابتكار منفرد في مجال الذكاء الاصطناعي الحديث. في هذه المقالة، ستتعرف بالضبط على كيفية عمل المحولات، ولماذا حلت محل الأساليب القديمة، وكيف تعمل على تشغيل أدوات الذكاء الاصطناعي التي يستخدمها ملايين الأشخاص يوميًا. سواء كنت عالم بيانات طموحًا أو مجرد فضول بشأن التكنولوجيا التي تقف وراء ثورة الذكاء الاصطناعي، فإن هذا الدليل سوف يقسم المفاهيم المعقدة إلى تفسيرات واضحة وسهلة الفهم.
لكي ندرك سبب أهمية المحولات، فمن المفيد أن نفهم ما حدث قبلها.
قبل المحولات، كانت البنى السائدة لمعالجة اللغة هي الشبكات العصبية المتكررة (RNNs) ومتغيرها المحسن شبكات الذاكرة طويلة المدى (LSTMs). تقوم هذه النماذج بمعالجة النص كلمة واحدة في كل مرة، بالتسلسل، تمامًا مثل قراءة كتاب من اليسار إلى اليمين دون القفز للأمام أو النظر إلى الخلف.
خلقت هذه المعالجة المتسلسلة مشكلتين رئيسيتين. أولا، كان بطيئا بشكل مؤلم. ولأن كل كلمة كان عليها الانتظار حتى تتم معالجة الكلمة السابقة، فقد استغرق التدريب على مجموعات البيانات الكبيرة وقتًا هائلاً. ثانيًا، عانت شبكات RNN من التبعيات بعيدة المدى. إذا كانت الكلمة الموجودة في بداية الفقرة مهمة لفهم كلمة قريبة من النهاية، فغالبًا ما "ينسى" النموذج ذلك السياق السابق بحلول الوقت الذي يصل فيه إلى الكلمة اللاحقة. تخيل أنك تحاول تذكر الجملة الأولى من رواية أثناء قراءة الفصل الأخير. وكان هذا هو التحدي الأساسي.
في عام 2017، نشر فريق من الباحثين في Google بحثًا بعنوان "الانتباه هو كل ما تحتاجه" وقد غير كل شيء. قدمت الورقة بنية المحولات، التي تخلت عن المعالجة التسلسلية تمامًا. بدلاً من قراءة الكلمات واحدة تلو الأخرى، تقوم المحولات بمعالجة جميع الكلمات في الجملة في وقت واحد وتستخدم آلية تسمى "الانتباه" لمعرفة الكلمات الأكثر صلة ببعضها البعض.
جعلت هذه المعالجة المتوازية المحولات أسرع بشكل كبير في التدريب. والأهم من ذلك أن آلية الانتباه حلت مشكلة التبعية طويلة المدى بطريقة رائعة. وكانت النتيجة بنية قوية ومرنة للغاية لدرجة أنها تشكل الآن الأساس لكل نظام ذكاء اصطناعي رئيسي تقريبًا، بدءًا من نماذج اللغات الكبيرة وحتى مولدات الصور.
الخلاصة الرئيسية: استبدلت المحولات النماذج المتسلسلة البطيئة والنسيان بمعالجة سريعة ومتوازية يمكنها ربط أي كلمة بأي كلمة أخرى في الجملة، بغض النظر عن المسافة.
آلية الانتباه هي قلب المحول. لفهم ذلك، فكر في هذا التشبيه.
تخيل أنك تقرأ رواية غامضة وتواجه الجملة التالية: "التقطت المحققة العدسة المكبرة التي تركتها على الطاولة." عندما تقرأ كلمة "هي"، يعود عقلك تلقائيًا إلى كلمة "المحقق" لفهم من تشير إليه "هي". أنت لا تعطي تركيزًا متساويًا لكل كلمة. أنت تحضر إلى الأشخاص الأكثر صلة.
وهذا هو بالضبط ما تفعله آلية الانتباه. بالنظر إلى أي كلمة في الجملة، فإنه يحسب مقدار "الانتباه" الذي يجب إيلاءه لكل كلمة أخرى. وينتج عن ذلك مجموعة مرجحة حيث تساهم الكلمات ذات الصلة بشكل أكبر في الفهم النهائي.
تعتمد آليات الانتباه على ثلاثة مفاهيم: الاستعلام، والمفتاح، والقيمة. فكر في الأمر مثل البحث في المكتبة.
عندما تدخل إلى المكتبة ومعك استعلامك، فإنك تقوم بمقارنته بكل مفتاح (تسمية الكتاب). كلما كان التطابق بين الاستعلام والمفتاح أفضل، زاد الاهتمام الذي توليه لقيمة هذا الكتاب (المحتوى). يحظى كتاب بعنوان "علم المناخ" باهتمام كبير. "التاريخ القديم" يحصل على القليل جدا.
في المحول، تولد كل كلمة استعلامًا خاصًا بها، ومفتاحًا، ومتجهات قيمة. تتم مقارنة استعلام كل كلمة بمفتاح كل كلمة أخرى للحصول على درجات الاهتمام. تحدد هذه الدرجات مقدار قيمة كل كلمة التي يتم خلطها في التمثيل النهائي. والنتيجة هي فهم غني ومدرك للسياق لكل كلمة في الجملة.
دعونا نسير عبر الاهتمام بالذات بمثال ملموس. تأمل الجملة: "جلست القطة على السجادة لأنها كانت متعبة."
**الخطوة 1: إنشاء متجهات Q وK وV. ** يتم تحويل كل كلمة إلى ثلاثة متجهات (استعلام، مفتاح، قيمة) باستخدام مصفوفات الوزن المستفادة. هذه مجرد توقعات رياضية لتضمين الكلمة.
الخطوة 2: حساب درجات الاهتمام. بالنسبة للكلمة "it"، يحسب النموذج النتيجة بين استعلام "it" ومفتاح كل كلمة أخرى. ستكون نتيجة كلمة "cat" عالية لأن كلمة "it" تشير إلى القطة. ستكون نتيجة "on" منخفضة لأنها ليست ذات صلة لغويًا.
الخطوة 3: تطبيق softmax. يتم تمرير الدرجات الأولية من خلال دالة softmax، وتحويلها إلى احتمالات مجموعها 1. يؤدي هذا إلى إنشاء توزيع: ربما تحصل كلمة "cat" على وزن 0.65، وتحصل كلمة "tiard" على 0.15، وتتقاسم الكلمات المتبقية الباقي.
الخطوة 4: حساب المجموع المرجح. يقوم النموذج بضرب متجه قيمة كل كلمة في وزن الانتباه الخاص بها ويجمعها جميعًا. يتأثر الآن المتجه الناتج لـ "it" بشدة بالمعلومات الواردة من "cat"، وهو بالضبط الفهم السياقي الذي نحتاجه.
تحدث هذه العملية لكل كلمة في وقت واحد، مما يسمح للنموذج ببناء تمثيل غني ومترابط للجملة بأكملها في تمريرة واحدة.
الخلاصة الأساسية: يتيح الاهتمام الذاتي لكل كلمة "إلقاء نظرة" على كل كلمة أخرى في الجملة، والتعرف تلقائيًا على الكلمات الأكثر صلة ببعضها البعض.
يلتقط حساب الاهتمام الفردي نوعًا واحدًا من العلاقة بين الكلمات. لكن اللغة معقدة. قد تحتاج كلمة "بنك" إلى الاهتمام بكلمة "نهر" من أجل معناها، و"ال" من أجل البنية النحوية، و"غمرت" من أجل السياق الأوسع. لا يمكن لرأس انتباه واحد أن يلتقط كل هذه العلاقات في وقت واحد.
الحل هو الاهتمام متعدد الرؤوس. بدلاً من حساب الانتباه مرة واحدة، يقوم المحول بتشغيل عمليات انتباه متعددة بالتوازي، كل منها بمجموعتها الخاصة من مصفوفات الوزن Q، K، V. فكر في الأمر على أنه تجميع فريق من الخبراء لمراجعة نفس المستند. يركز أحد الخبراء على القواعد النحوية وبناء الجملة. آخر يركز على المعنى الدلالي. يبحث ثالث عن المرجع الأساسي (ما يشير إليه "هو" أو "هم"). كل خبير يلاحظ شيئا مختلفا.
من الناحية العملية، قد يستخدم المحول النموذجي 8، 12، أو حتى 128 رأس انتباه. بعد أن يقوم جميع الرؤساء بحساب نتائجهم بشكل مستقل، يتم ربط مخرجاتهم وإسقاطها من خلال طبقة خطية لإنتاج مخرجات الاهتمام النهائية.
يعد هذا النهج متعدد وجهات النظر سببًا رئيسيًا وراء فعالية المحولات. إنهم لا يفهمون جانبًا واحدًا فقط من اللغة في كل مرة. إنهم يلتقطون القواعد والمعنى والمرجع والسياق في وقت واحد.
الآن بعد أن فهمت الاهتمام، دعنا نبتعد وننظر إلى كيفية تجميع المحول الكامل.
يأخذ المشفر تسلسل الإدخال ويبني تمثيلاً سياقيًا عميقًا له. وتتكون من مجموعة من الطبقات المتطابقة (عادة 6 أو 12)، تحتوي كل منها على طبقتين فرعيتين: آلية اهتمام ذاتي متعددة الرؤوس تليها شبكة تغذية للأمام.
يقرأ المشفر المدخلات بأكملها مرة واحدة، مما يسمح لكل كلمة بالاهتمام بكل كلمة أخرى. بحلول الوقت الذي تمر فيه البيانات عبر جميع طبقات التشفير، يكون لدى النموذج فهم غني للمدخلات التي تلتقط المعنى والسياق والعلاقات.
يقوم وحدة فك التشفير بإنشاء تسلسل الإخراج رمزًا مميزًا واحدًا في كل مرة. وتتكون أيضًا من مجموعة من الطبقات المتطابقة، ولكن مع إضافة مهمة: طبقة الانتباه المتقاطع التي تهتم بمخرجات برنامج التشفير. هذه هي الطريقة التي "يقرأ بها" جهاز فك التشفير المدخلات الأصلية أثناء إنشاء نص جديد.
تستخدم وحدة فك التشفير أيضًا الانتباه الذاتي المقنع، مما يمنع ظهور الرموز المميزة المستقبلية أثناء الإنشاء. عند التنبؤ بالكلمة التالية، يمكن للنموذج أن ينظر فقط إلى الكلمات التي أنشأها بالفعل، وليس الكلمات التي تأتي لاحقًا. وهذا يضمن أن تظل عملية التوليد سببية وتراجعية ذاتيًا.
نظرًا لأن المحولات تعالج جميع الكلمات في وقت واحد، فليس لديها معنى مدمج لترتيب الكلمات. قد تبدو الجملة "كلب يعض رجلاً" و"رجل يعض كلبًا" متطابقتين دون وجود طريقة ما لتشفير الموضع. التشفير الموضعي يحل هذه المشكلة عن طريق إضافة إشارة فريدة إلى تضمين كل كلمة بناءً على موضعها في التسلسل. استخدمت الورقة الأصلية دوال الجيب وجيب التمام بترددات مختلفة، مما أدى إلى إنشاء نمط مميز لكل موضع يمكن للنموذج أن يتعلم تفسيره.
تتضمن كل طبقة محولات أيضًا الاتصالات المتبقية (اختصارات تساعد على تدفق التدرجات أثناء التدريب) وتسوية الطبقة (التي تعمل على استقرار عملية التعلم). تضيف شبكات التغذية الأمامية داخل كل طبقة قوة معالجة إضافية، مما يسمح للنموذج بتعلم التحويلات غير الخطية المعقدة.
الخلاصة الرئيسية: يجمع المحول الكامل بين الاهتمام الذاتي، والانتباه المتبادل، والتشفير الموضعي، وشبكات التغذية الأمامية في بنية قوية يمكنها فهم اللغة وتوليدها.
استخدم المحول الأصلي كلاً من جهاز التشفير ووحدة فك التشفير. لكن سرعان ما اكتشف الباحثون أن استخدام نصف واحد فقط يمكن أن يكون فعالاً للغاية في مهام محددة.
BERT (تمثيلات التشفير ثنائية الاتجاه من المحولات) تستخدم برنامج التشفير فقط. يقرأ النص في كلا الاتجاهين في وقت واحد، مما يبني فهمًا عميقًا ثنائي الاتجاه للغة. أثناء التدريب، يستخدم BERT تقنية تسمى نمذجة اللغة المقنعة: يتم إخفاء الكلمات العشوائية في الجملة، ويتعلم النموذج التنبؤ بها من السياق المحيط.
هذا النهج ثنائي الاتجاه يجعل BERT استثنائيًا في المهام التي تتطلب فهم النص الموجود. إنه يتفوق في تصنيف النص، وتحليل المشاعر، وتصنيف البحث، والإجابة على الأسئلة. عندما قامت جوجل بتحسين محرك البحث الخاص بها في عام 2019، كانت تقنية BERT هي التقنية التي تقف وراء ذلك.
GPT (المحول التوليدي المُدرب مسبقًا) يستخدم وحدة فك التشفير فقط. يقرأ النص من اليسار إلى اليمين ويتعلم من خلال التنبؤ بالرمز التالي: بالنظر إلى جميع الكلمات السابقة، توقع الكلمة التالية. هذا الهدف الذي يبدو بسيطًا، عند تطبيقه على نطاق واسع، ينتج نماذج يمكنها كتابة المقالات، والإجابة على الأسئلة، وكتابة التعليمات البرمجية، ومواصلة المحادثات.
إن طبيعة الانحدار الذاتي لـ GPT تجعلها مثالية للمهام التوليدية. تم تصميم ChatGPT وGitHub Copilot والعديد من أدوات الذكاء الاصطناعي الإبداعية على تصميمات على طراز GPT.
| ميزة | بيرت (التشفير) | جي بي تي (فك التشفير) | |---------|----------------|--------------| | الاتجاه | ثنائي الاتجاه | من اليسار إلى اليمين | | التدريب | نمذجة اللغة المقنعة | التنبؤ بالرمز التالي | | نقاط القوة | الفهم والتصنيف | جيل محادثة | | أمثلة | بحث جوجل، كشف الرسائل غير المرغوب فيها | تشات جي بي تي، مساعد الطيار |
لقد أدت بنية المحولات إلى تحقيق اختراقات أبعد من روبوتات الدردشة.
الذكاء الاصطناعي للمحادثة. ChatGPT وClaude وGemini كلها نماذج قائمة على المحولات يمكنها المشاركة في محادثات دقيقة ومتعددة الأدوار والإجابة على الأسئلة المعقدة والمساعدة في المهام الإبداعية والتحليلية.
إنشاء التعليمات البرمجية. يستخدم GitHub Copilot نماذج محولات تم تدريبها على مستودعات تعليمات برمجية ضخمة لاقتراح وظائف كاملة، وإصلاح الأخطاء، وحتى شرح التعليمات البرمجية غير المألوفة. يستخدمه المطورون حول العالم لتسريع سير عملهم يوميًا.
توليد الصور وفهمها. تطبق محولات الرؤية (ViTs) آلية الانتباه نفسها على تصحيحات الصور بدلاً من الكلمات. تستخدم نماذج مثل DALL-E وStable Diffusion مكونات محولات لتوليد صور من أوصاف النص، مما يؤدي إلى طمس الخط الفاصل بين اللغة والرؤية.
البحث العلمي. استخدم AlphaFold 2 من DeepMind الاهتمام القائم على المحولات لحل مشكلة التنبؤ ببنية البروتين، وهي المشكلة التي حيرت علماء الأحياء لعقود من الزمن. وقد أدى هذا الإنجاز إلى تسريع اكتشاف الأدوية وفهمنا للأمراض.
إن تعدد استخدامات المحولات يأتي من تصميمها الأساسي. لا يهم الانتباه ما إذا كان الإدخال عبارة عن كلمات أو بكسلات أو أحماض أمينية أو نوتات موسيقية. إذا كان من الممكن تمثيل البيانات كتسلسل، فيمكن للمحولات التعلم منها.
المحولات قوية، لكنها لا تخلو من التحديات. تتميز آلية الانتباه بـ التعقيد التربيعي، مما يعني أن مضاعفة طول الإدخال يؤدي إلى مضاعفة العمليات الحسابية المطلوبة أربع مرات. تظل معالجة المستندات الطويلة جدًا أو الصور عالية الدقة باهظة الثمن.
ويعمل الباحثون بنشاط على إيجاد الحلول. تعمل نماذج مزيج الخبراء (MoE)، مثل تلك المستخدمة في GPT-4 وMixtral، على تنشيط مجموعة فرعية فقط من معلمات النموذج لكل إدخال، مما يؤدي إلى تحسين الكفاءة بشكل كبير. نماذج مساحة الحالة مثل Mamba تقدم نهجًا بديلاً يعالج التسلسلات ذات التعقيد الخطي مع الحفاظ على الأداء القوي.
المحولات المتعددة الوسائط تمثل حدودًا أخرى مثيرة. يمكن لهذه النماذج معالجة النصوص والصور والصوت والفيديو ضمن بنية واحدة، مما يقربنا من أنظمة الذكاء الاصطناعي التي تدرك العالم وتفكر فيه بالطريقة التي يفعلها البشر.
على الرغم من هذه الابتكارات، أثبتت بنية المحولات الأساسية مرونتها بشكل ملحوظ. تعتمد العديد من الأساليب الجديدة على الاهتمام بدلاً من استبداله. إن فهم المحولات لا يقتصر فقط على فهم الذكاء الاصطناعي اليوم. يتعلق الأمر بفهم الأساس الذي سيتم بناء الذكاء الاصطناعي عليه في المستقبل.
الخلاصة الرئيسية: تستمر بنية المحولات في التطور من خلال تحسينات الكفاءة وإمكانيات الوسائط المتعددة، لكن مبادئها الأساسية المتمثلة في الاهتمام والمعالجة المتوازية تظل أساسية لتقدم الذكاء الاصطناعي.
يعد فهم المحولات خطوة حاسمة في رحلة الذكاء الاصطناعي الخاصة بك، ولكن هناك الكثير مما يجب استكشافه. المفاهيم التي تعلمتها هنا، بما في ذلك آليات الانتباه، وبنيات التشفير وفك التشفير، والاختلافات بين BERT وGPT، تشكل الأساس لموضوعات متقدمة مثل الضبط الدقيق والتعلم المعزز من ردود الفعل البشرية (RLHF)، وبناء تطبيقات الذكاء الاصطناعي الخاصة بك.
على استعداد للذهاب أبعد من ذلك؟ إليك كيف يمكن لـ AI Educademy المساعدة:
AI Canopy هو برنامجنا المتقدم للتعلم العميق حيث ستتمكن من إنشاء نماذج محولات من الصفر، وتنفيذ آليات الانتباه في التعليمات البرمجية، وفهم الرياضيات وراء البنى الحديثة. إذا أثارت هذه المقالة فضولك، فإن AI Canopy ستحول هذا الفضول إلى خبرة.
فروع الذكاء الاصطناعي تقدم مسارات تعليمية متخصصة في مجالات مثل معالجة اللغة الطبيعية، ورؤية الكمبيوتر، والذكاء الاصطناعي التوليدي. اختر المسار الذي يتوافق مع أهدافك المهنية وتعلم من الممارسين الذين يقومون ببناء أنظمة الذكاء الاصطناعي للإنتاج.
استكشف جميع البرامج للعثور على نقطة البداية الصحيحة لمستوى مهاراتك، بدءًا من معرفة القراءة والكتابة الأساسية في مجال الذكاء الاصطناعي وحتى الهندسة المتقدمة.
لقد بنيت ثورة الذكاء الاصطناعي على المحولات، وفهمك لهذه البنية يضعك في الطليعة. والخطوة التالية هي الانتقال من الفهم إلى البناء. نحن نحب أن نساعدك في الوصول إلى هناك.
جرّب أول درس في أي أكاديمية مجانًا، ثم افتح كل درس ومشروع وشهادة متبقية مع Pro.
أفضل 30 سؤالاً وإجابات لمقابلة الذكاء الاصطناعي لعام 2026
استعد لمقابلة العمل الخاصة بك باستخدام الذكاء الاصطناعي من خلال 30 سؤالًا أساسيًا وإجابات تفصيلية - تغطي موضوعات المبتدئين والمتوسطين والمتقدمين.
الذكاء الاصطناعي مقابل التعلم الآلي مقابل التعلم العميق: ما الفرق؟
افهم الاختلافات الواضحة بين الذكاء الاصطناعي والتعلم الآلي والتعلم العميق - مع التعريفات والدليل المرئي وجدول المقارنة والأمثلة الحقيقية.
شرح رؤية الكمبيوتر: كيف يرى الذكاء الاصطناعي الصور ويفهمها
تعرف على كيفية عمل رؤية الكمبيوتر، بدءًا من شبكات CNN وحتى اكتشاف الأشياء. اكتشف تطبيقات العالم الحقيقي في مجالات القيادة الذاتية، والتصوير الطبي، وتجارة التجزئة، والمزيد.