اختبار خرافات قابلية تفسير الشبكات العصبية الميكانيكية

لسنوات، كان الرأي السائد في قابلية التفسير الميكانيكية متشائمًا: الشبكات العصبية عقد متشابكة، وقبل أن تفهم أيّ شبكة عليك أولًا أن تدفع لنموذج ثانٍ كي يفكّها لك. هذا الاعتقاد شكّل أجندات البحث، وبرّر ظهور مجالات فرعية كاملة قائمة على المشفّرات التلقائية المتناثرة، وأقنع كثيرًا من المهندسين بهدوء بأن النظر داخل نموذج لغوي ضرب من العبث. وقد تراجع أحد الباحثين الذين ساهموا في ترسيخ هذه النظرة التشاؤمية عن جزء كبير منها، وسواء اقتنعت بأقوى صيغ الادعاء أم لا، فهذه لحظة جيدة لإعادة النظر فيما نظنّ أننا نعرفه عن الداخل الحسابي للنماذج. دعنا نختبر خمسة معتقدات شائعة في ضوء الأدلة.

الخرافة الأولى: الخلايا العصبية متعددة المعاني بلا أمل

الأسطورة المؤسِّسة لقابلية التفسير الحديثة هي الخلية العصبية متعددة المعاني، وحدة واحدة تنشط مع وجوه القطط وأمامية السيارات، وهما شيئان لا علاقة واضحة بينهما. إذا كانت الخلايا العصبية تجمع بشكل روتيني مفاهيم غير مترابطة، فالمنطق كان أن فهم الشبكة خلية خلية محكوم عليه بالفشل. هذا المثال أدّى دورًا بلاغيًا ضخمًا، فكان الدليل الأول الذي بُنيت عليه نظرة 'الشبكات عقد' بأكملها.

الادعاء الجديد أن هذا الدليل قُرئ بشكل خاطئ. حين تتبّع الباحثون الدارة الفعلية خلف الخلية الشهيرة للسيارة والكلب، لم يقرأ أي شيء لاحق تلك التركيبة المحددة. لم تكن الخلية تهرّب ميزة 'سيارة' عبر أرض غير ذات صلة؛ بل كانت تقوم بتعميم وتركيب عاديين. وأما الطبقة الأكثر فوضوية في نموذج التجارب المفضّل لدى المجال في بداياته، أي الطبقة الأخيرة من InceptionV1 التي كان يُعتقد أنها لا تحتوي تقريبًا على خلايا قابلة للتفسير، فتبيّن أنها بعد تعديلات معمارية عادية تصبح قابلة للتفسير بنسبة 99 إلى 100%، دون تغيير في حجم النموذج أو بيانات تدريبه. إذن كانت العقدة في معظمها أثرًا من أثر القياس نفسه.

تتكرر النمطية نفسها في نماذج اللغة بمقياس مختلف. أعطت تدقيقات عام 2023 الخلية الوسيطة في محوّل صغير درجة صفر وفق معيار قابلية التفسير، ووجد مشروع آلي كبير لشرح الخلايا أن نحو 1.7% من الخلايا مقروءة. أما التدقيقات الأولية للنماذج الحديثة ذات 32 مليار معامل بأدوات أفضل، فتقدّر أن نحو 90% من أقطاب الخلايا لها وظيفة رئيسية واحدة، وأن نحو 7% أخرى لها وظيفتان متقاربتان، ولا يبقى سوى نسبة ضئيلة تظل غامضة فعلًا. وكثيرًا ما تتلاشى 'تعددية المعنى' المتبقية عند الفحص: خلية تبدو وكأنها تكشف اللاحقة وعبارة كاملة مثل 'افعلها بنفسك' ليست تجمع أشياء غير مترابطة، بل نمت من إحداهما إلى الأخرى.

رأيي: الاعتقاد مات، لكن جنازته ينبغي أن تكون متواضعة. أشار أحد المعلّقين المتشككين إلى أن تعقّد الميزات التدريجي معروف منذ عصر الشبكات الالتفافية، وأن التمثيلات المكثفة غير الدلالية موثّقة في أماكن أخرى. فعبارة 'أقل تعددية مما خشينا' مدعومة جيدًا، أما عبارة 'ليست متعددة المعنى أبدًا' فغير مثبتة.

الخرافة الثانية: التراكب مبدأ أساسي في التعلم

كان التراكب (Superposition) النظرية الأنيقة التي تفسّر الفوضى: حين تنفد الخلايا العصبية من الشبكة، تتوقف عن تجميع الأشياء المتشابهة وتبدأ بطيّ أشياء غير مترابطة داخل الوحدة نفسها، مستغلةً هندسة الفضاءات عالية الأبعاد كي لا تتداخل. وفق هذه النظرية، لا يخبرك من يشارك الخلية نفسها بالكثير، فالطيّ عشوائي، وهو واحد من تكوينات متكافئة كثيرة. يجب أن تفكّ الطيّ قبل أن تدرس.

الطرح المقابل بسيط إلى درجة مخيبة: مبدأ التعلم الوحيد هو التعميم. ما بدا طيًّا هو في الحقيقة تعميم متكرر، إذ تنبت الخلايا فروعًا كما تنبت أغصان الشجرة فروعًا فرعية. خلية تكشف 'iy' تنمو لتكشف 'diy'، ثم المفهوم كاملًا 'افعلها بنفسك'. كل توسّع يتجه نحو أرض دلالية مجاورة، لا نحو عشوائية. وعند تصغير النموذج لا يغيّر استراتيجيته؛ الخلايا فقط تصبح أعمّ، فخلية 'سيارة' واحدة تغطي أنواعًا كثيرة من السيارات بدلًا من التخصص. وعند توسيع النموذج عبر نطاق حجم يبلغ 300 ضعف، تبقى القابلية للقراءة كما هي: الخلايا تتمايز، ولا تتشابك.

هذا مهم لأنه يغيّر معنى تجميع الخلية. في ظل التراكب، الخلية التي تنشط لشيئين ضجيج. في ظل التعميم المتكرر، هي فرضية عن التسلسل الهرمي للمفاهيم داخل النموذج، وهناك ما يمكن تعلّمه من سبب تشاركهما موطنًا واحدًا. كما يعني أن التفسيرات يمكن أن تكون متكررة التشابه (fractal): ابدأ بتسمية عامة، ثم تعمّق حين تحتاج التفاصيل. بالنسبة للمهندسين، هذا الفرق بين hexdump وstack trace تظهر فيه أسماء الرموز.

كانت هناك تفسيران مطروحان: التعميم يجمع الأشياء المتشابهة، والتراكب يجمع الأشياء غير المترابطة. وقد راهن المجال على الخيار الخاطئ.

أضيف تحفظًا واحدًا يتجاهله المتحمسون: التراكب كظاهرة رياضية، أي تمثيل الميزات في أبعاد أقل من عددها، ثابت في النماذج التجريبية الصغيرة. المتنازع عليه هو هل هو التفسير الصحيح للخلايا الفوضوية المعروفة في الشبكات الحقيقية. هذان ادعاءان مختلفان، والخلط بينهما هو ما يقودك إلى المبالغة في تصديق النتيجة أو المبالغة في رفضها.

الخرافة الثالثة: تحتاج مشفّرًا تلقائيًا متناثرًا كي ترى أي شيء

كانت النتيجة العملية لنظرية التشابك منهجية: لا تدرس الشبكة، بل ادرس تفكيكًا لها. درّب مشفّرًا تلقائيًا متناثرًا لتقريب الشبكة 'بعد فكّها'، ثم فسّر الميزات التي تعلّمها المشفّر بدلًا من الخلايا الأصلية. وقد ولّد هذا صناعة كاملة لخطوط المعالجة، من تعلّم القواميس وأهداف إعادة البناء ولوحات الميزات، وبعض النتائج المبهرة فعلًا، مثل الميزات أحادية المعنى التي استخلصتها Anthropic من نماذج بحجم Claude.

لكن لاحظ ما يفترضه نهج المشفّرات: أن الشبكة الأصلية غير مقروءة، وأن الحقيقة تكمن في التقريب. فإذا كانت الشبكات نظيفة أصلًا، ينقلب هذا الافتراض. تصبح خلايا الشبكة ودارتها هي موضوع الدراسة الأساسي، ويصبح المشفّر في أحسن الأحوال أداة ضغط مفيدة للتلخيص، وخطرة إذا خلطت الملخص بالنظام نفسه. وللمشفّرات أنماط فشلها الخاصة: قد تخترع ميزات تعيد بناء التفعيلات بشكل جيد دون أن تقابل أي آلية حقيقية، وأخطاء إعادة البناء فيها هي بالضبط النوع الذي يعضّك في التحليل الحرج للسلامة.

سير العمل البديل يشبه التصحيح المعتاد للأخطاء. اختر خلية. انظر إلى أقوى تفعيلاتها ثم أضعفها (تبيّن أن التفعيلات الضعيفة مفيدة: خلية 'تيتانيك' الشهيرة تنشط بضعف مع أشياء من الحقبة نفسها مثل محركات البخار، وهذا تعميم لا التباس). تتبّع ما تتصل به لاحقًا. وفي نماذج الخبراء المختلطة، تحقق من تخصص الخبير الذي تنتمي إليه. يتراكم الفهم كالكلمات المتقاطعة: كل خلية تفكّ شفرتها تقيّد الخلايا المحيطة بها. ولا يتطلب أي من ذلك تدريب نموذج ثانٍ.

• ابدأ من التفعيلات القوية لخلية واحدة، ثم افحص التفعيلات الضعيفة لتحديد حدود التعميم.
• تتبّع الاتصالات اللاحقة لترى ما الذي يقرأ فعلًا مخرجات الخلية، فكثير من 'الألغاز' تنتهي هنا.
• استخدم الدارة المحيطة وتخصص الخبراء كفحوص متقاطعة، كما تستخدم المستدعِين والمستدعَين في أداة الـ profiler.
• لجأ إلى المشفّرات المتناثرة حين تحتاج إلى الضغط أو البحث، لا بوصفها الحقيقة الأساسية عن الآلية.

الخرافة الرابعة: النماذج الصغيرة تخبرك كيف تعمل الكبيرة

أغلب النتائج التشاؤمية المرجعية جاءت من نماذج صغيرة أو مبسّطة، كمحوّلات بطبقة واحدة وشبكات الرؤية المبكرة. وهنا مفارقة مريحة: النماذج الصغيرة تنفد فعلًا من المساحة، ولذلك بدا التراكب التفسير الطبيعي لسلوكها. لكن الشبكة التي تعاني نقص المساحة لا تغيّر مبادئ التعلم؛ خلاياها فقط تصبح أعرض. والخلايا العريضة تبدو خلطات عشوائية للأدوات البدائية. وعند توسيع النموذج، تتمايز تلك الخلايا العريضة إلى خلايا نظيفة ومحددة.

المنطق نفسه ينطبق على الأدوات. فالمفسّرات الآلية لعام 2023 لم تكن قادرة على تشغيل حلقة التخمين والاختبار؛ كانت تولّد فرضية من التفعيلات وتقيّمها بالمحاكاة، وهذا يكافئ التفسيرات المعقولة الصوت على التفسيرات الصحيحة. أما الأدوات الوكيلية الحديثة فتستطيع فعلًا التدخل: ترقيع التفعيلات، وتعطيل خلية، والتنبؤ بالأثر، ثم التحقق من النتيجة. هذه الحلقة المغلقة هي ما حوّل '1.7% قابل للتفسير' إلى '~90% لها وظيفة رئيسية' أكثر من أي خاصية في النماذج نفسها. ينبغي أن نتواضع بشأن مقدار الأدبيات التي تقيس أدواتنا لا الشبكات.

هناك شبه بحالات أخرى كان فيها الفارق بين المواصفة والنظام العامل يخفي السلوك الحقيقي. فـفجوة المواصفة والتنفيذ هي المكان الذي تعيش فيه الأخطاء، وهي أيضًا المكان الذي عاشت فيه أخطاء قابلية التفسير الوهمية. كانت أوزان النموذج هي الحقيقة الأساسية منذ البداية، وكانت أوصافنا لها هي المواصفة المعيبة.

الخرافة الخامسة: قابلية التفسير لا تغيّر طريقة بنائك للأنظمة

حتى الممارسون الذين تابعوا أدبيات قابلية التفسير كثيرًا ما صنّفوها تحت 'بحث في السلامة، ذو صلة: يومًا ما'. وهذا خاطئ الآن، مهما كان رأيك في أقوى الادعاءات. فإذا كانت الخلايا والدارات لبنات مقروءة، فإنها تصبح مقابض: ميزات قابلة للتحكم، يمكنك تثبيتها أو تضخيمها أو تعطيلها وقت الاستدلال. وتوجيه الميزات، أي تعزيز اتجاه 'الصدق' أو كبح اتجاه 'التملّق'، أصبح تقنية عاملة بالفعل، وهي أكثر مبدئية بكثير حين تقابل الميزة آلية حقيقية لا قطعة إعادة بناء من مشفّر متناثر.

في التصحيح، المكسب هو القدرة على التوقع. حين يسلك نموذج سلوكًا خاطئًا مع فئة من المدخلات، فالممارسة الحالية هي التنقيب في الـ prompts والاعتماد على الإحساس. أما الدارة المقروءة فتعطيك شيئًا أقرب إلى الـ profiler: أي الميزات نشطت، وما الذي قرأها، وأين حدث القرار فعليًا. وهذا يكمّل التقنيات السلوكية لا يحل محلها؛ فإذا كنت تشكّل مخرجات النموذج للإنتاج، فـفك الترميز المقيّد يتولى عقد المخرجات، بينما تتولى قابلية التفسير سؤال 'لماذا'. وبالنسبة للوكلاء الذين يتصرفون بشكل مستقل، تضيف المراقبة الداخلية بعدًا لا تستطيع الضوابط الخارجية توفيره: سبق أن تناولنا الاحتواء مقابل المراقبة لوكلاء الذكاء الاصطناعي، وتصبح المراقبة أقوى بكثير حين تستطيع مراقبة الآلية لا السلوك فقط.

هناك دلالة أخرى تستحق التأكيد، وتتعلق بالوصول. يعتمد هذا البرنامج البحثي بكامله على الأوزان المفتوحة. لا يمكنك تدقيق الدارات في نموذج لا تستطيع الاستعلام عنه إلا عبر واجهة برمجية. وإذا كان فهم الداخل شرطًا مسبقًا للوثوق بأنظمة مستقلة متزايدة، وأنا أرى أنه كذلك، فإن انفتاح الأوزان ليس أيديولوجيا اختيارية، بل هو أساس قصة التصحيح كلها.

ما الذي ينبغي أن تأخذه فعلًا من هذا

إذا نزعنا الضجيج، فالجوهر القابل للدفاع عنه هو التالي: الدليل المرجعي على أن الشبكات متشابكة بشكل عشوائي لم يصمد أمام إعادة الفحص، والنماذج الحديثة بالأدوات الحديثة تبدو أكثر قابلية للقراءة بكثير مما أوحت به أدبيات 2023، والفوضى المتبقية لها بنية (تعميم متكرر) يمكن استغلالها بدلًا من فكّها. أما الصيغة القوية، 'قابلية التفسير شبه محلولة، فقط وسّعها'، فلها رنين مألوف بالنسبة لمن شهد الموجة الأولى من حماس المشفّرات المتناثرة، وهي تستحق الشك الذي تلقاه.

بالنسبة للمهندسين العاملين، نصيحتي عملية: توقّف عن معاملة داخل النموذج كصندوق أسود بشكل افتراضي. أدوات فحص التفعيلات وتوجيه الميزات وتتبّع الدارات تنضج بسرعة، وحاجز الفكرة، أي 'كل شيء عقد عشوائية على أي حال'، لم يكن أبدًا بالثقل الذي بدا عليه. قد لا تكون الشبكات العصبية نظيفة بالطريقة التي يكون بها كودنا نظيفًا، لكنها أقرب بكثير إلى أنظمة قابلة للقراءة منها إلى السحر، والأنظمة القابلة للقراءة هي ما نعرف كيف نهندسه.