وكلاء الاستدلال الهجين: تفكير كامن وتنفيذ نصي

إليكم حقيقة مزعجة عن وكلاء LLM: معظم الرموز التي ينتجونها حشو مكلف. الوكيل الذي يحل مسألة رياضية يكتب بكل سعادة “دعني أعيد قراءة السؤال” و“حتى الآن وجدت أن...” بكلفة الاستدلال الكاملة، فيحرق الحوسبة نفسها على التمهيد البلاغي كما يحرقها على الحساب الفعلي. الاستدلال الكامن، أي إجراء التفكير داخل الحالات المخفية للنموذج بدلاً من النص، كان دائماً الحل الواضح، وتُظهر ورقة بحثية جديدة عن وكلاء الاستدلال الهجين أنه أصبح عملياً أخيراً. لكن هذا الحل الواضح يأتي بثمن لا يحبه أحد في هذا المجال: لم يعد بإمكانك قراءة ما يفكر فيه النموذج.

قضيت سنوات أراقب فرقاً تحاول جعل سلسلة التفكير أرخص. كل نهج يصطدم بالجدار نفسه، والجدير بالفهم هو لماذا يختلف النهج الهجين، ولماذا ما زلت لا أنشره في أي مكان لا أستطيع فيه تحمّل فشل صامت.

لماذا تهدر سلسلة التفكير القائمة على النص الرموز

كانت سلسلة التفكير اكتشافاً عظيماً حقاً. دَعِ النموذج يكتب الخطوات الوسيطة فتقفز دقة الإجابة في الرياضيات والمنطق والأسئلة متعددة القفزات قفزة لافتة. المشكلة أن اللغة صيغة تسلسل سيئة للحوسبة. الكلمات تفقد جزءاً من المعنى، وفيها تكرار، والأهم لفاتورة الاستدلال أنها متسلسلة.

فكّر فيما يحدث حين يعيد النموذج «صياغة المسألة» قبل حلها. هذه بضع مئات من الرموز تُولَّد واحداً تلو الآخر، ويتطلب كل منها تمريرة أمامية كاملة، ومحتواها المعلوماتي يكاد يساوي الصفر لأن نص المسألة موجود أصلاً في السياق. نماذج الاستدلال الحديثة مليئة بهذا. كل من تابع مسار استدلال من نموذج من الجيل الحالي رأى فقرات من طمأنة الذات وإعادة الصياغة والتحوط، وهو ما كان المهندس البشري سيعده ضجيجاً. في المهام الوكيلية التي تستخدم استدعاءات الأدوات الأمر أسوأ: النموذج يصف ما سيفعله، ثم يفعله، ثم يصف ما فعله للتو.

تتراكم التكلفة على نطاق الوكلاء. وكيل يجري عشرة استدعاءات أدوات مع مقدمة استدلال مطوّلة قبل كل منها قد ينفق 80% من ميزانية الرموز على السرد. وإن كنت تدفع لكل رمز، وأنت تدفع، فهذا مال حقيقي. وهو أيضاً زمن استجابة، وهذا مهم جداً للوكلاء الذين ينتظرهم البشر. هذا هو الضغط نفسه وراء الدفع نحو مستويات استدلال أرخص وأسرع: الاختناق ليس في الذكاء، بل في تكلفة التعبير عنه بالكلمات.

المحاولات الفاشلة: الاقتطاع والتقطير والاستدلال الكامن الخالص

هاجم المجال المشكلة من ثلاثة اتجاهات، وانكسر كل منها بطريقة تعليمية.

المحاولة الأولى: توليد رموز أقل

فرض الميزانية، وعقوبات الطول، وضبط النماذج الدقيق على استدلال مقتضب: النهج الساذج هو جعل النموذج يفكر أقل نصياً. ينجح هذا إلى حد معين، ثم تنهار الدقة فجأة. المسار النصي المطوّل ليس هدراً خالصاً، فبعض ذلك التكرار الظاهر حامل للحمل فعلاً. الضغط الأعمى يرمي الحوسبة مع الحشو، ولا يمكنك من الخارج أن تعرف أيهما أيهما.

المحاولة الثانية: استدلال كامن خالص

الفكرة الأنيقة أكثر: لا تنتج رموز تفكير أصلاً. أعد تغذية متجهات مخرجات النموذج كمدخلات، «متجه فكرة» مستمر بدلاً من كلمات منفصلة، ودعه يستدل داخلياً لخطوات كثيرة قبل أن يصدر الإجابة. أظهرت أبحاث مثل COCONUT أن هذا يمكن أن يضاهي أو يتفوق على سلسلة التفكير النصية في بعض المهام بجزء من التمريرات الأمامية. لكن الاستدلال الكامن الخالص له مشكلتان قاتلتان للوكلاء. أولاً، العالم الخارجي يتكلم النص: واجهات برمجة الأدوات تأخذ معاملات نصية، ومحركات البحث تأخذ استعلامات، والمستخدمون يريدون إجابات نثرية. النموذج الذي يفكر بالمتجهات فقط لا يزال عليه ترجمة كل شيء عند الحدود، والترجمة هي المكان الذي تختبئ فيه الأخطاء. ثانياً، وهذه النقطة التي يتجادل حولها الناس، يصبح التفكير صندوقاً أسود. تفقد مسار الاستدلال كلياً، وهو حالياً نافذتنا الوحيدة المقبولة نوعاً ما لفهم سبب فعل النموذج ما فعله.

المحاولة الثالثة: رموز التوقف وحوسبة الحشو

خط عمل أهدأ حاول إدراج رموز «توقف» لا معنى لها لمنح النموذج حوسبة إضافية دون محتوى إضافي. كانت النتائج متباينة في أحسن الأحوال، ولم تغادر المختبر أبداً. اتضح أن محتوى الرموز الوسيطة مهم في توجيه الحوسبة، وليس وجودها وحده.

ما ينجح فعلاً: وكلاء الاستدلال الهجين

تتخذ ورقة HybridAgent الموقف العملي الذي أتمنى أن يتخذه مزيد من الأبحاث: كفّ عن الاختيار بين الاستدلال الكامن والنصي، ودع النموذج يتبدل بينهما في منتصف التوليد. فكّر كامناً عندما تكون في حوسبة داخلية، وانتقل إلى النص عندما تحتاج إلى استدعاء أداة، أو قراءة مخرجاتها، أو شرح نفسك لإنسان.

البنية تتضمن ثلاثة مكونات تستحق الفهم. وحدة خفيفة اسمها HybridLink تتولى الانتقالات، فتحوّل الحالة المخفية الأخيرة لمقطع كامن إلى شيء يستطيع نموذج الوضع النصي أن يكمل منه، والعكس. ذاكرة عمل مستمرة تحتفظ بالسياق الهجين الكامل عبر الأدوار، فتبقى الأفكار الكامنة من الدور الأول متاحة في الدور الخامس بدلاً من أن تنضغط في ملخص نصي. وفي جانب التدريب مرحلتان: HybridSFT يعلّم العمود الفقري كيف ينسّق مع HybridLink من الأساس، ثم يستخدم HybridRL التعلم المعزز ليعلّمه متى يستحق كل وضع كلفته.

هذا الجزء الأخير هو الإسهام الحقيقي برأيي. المشكلة الصعبة لم تكن يوماً «هل يستطيع النموذج الاستدلال في الفضاء الكامن»، فقد كنا نعرف أنه يستطيع. المشكلة الصعبة هي السياسة: أي أجزاء المهمة تستحق حوسبة رخيصة غير شفافة، وأيها تستحق نصاً مكلفاً قابلاً للفحص. تعلّم هذه السياسة بالتعلم المعزز، مقابل مكافآت المهام الفعلية، هو ما يصنع شيئاً يعمل بدلاً من شيء يصلح للعرض التوضيحي فقط.

الأرقام المعلنة قوية: عبر 11 معياراً تغطي الرياضيات والعلوم والطب والبحث والاستدلال الوكيلي، يدّعي الوكيل الهجين تحسناً في الأداء بنحو 10% مقارنة بخطوط الأساس النصية والكامنة معاً، مع تقليل الرموز بنسبة 35–55%، وسرعة استدلال أعلى بمقدار 1.8–2.6 مرة، وتوفير في التكلفة يقارب 3 أضعاف. يجب التعامل مع ادعاءات المعايير في ورقة واحدة بالحذر المعتاد، فـالمعايير كثيراً ما تفوّت ما تبدو عليه أحمال العمل الحقيقية، لكن اتجاه النتيجة يتوافق مع النظرية. إن كان معظم المسار حشواً، فإن إزالة معظمه يجب أن تزيل معظم التكلفة لا القدرة.

كيف يبدو الاستدلال الكامن فعلياً في الكود

ميكانيكياً، الحيلة أبسط مما تبدو. في الوضع النصي، تأخذ عينة رمز، وتضمّنه، وتغذيه مجدداً. في الوضع الكامن، تتخطى أخذ العينات وتغذي متجه المخرجات الخاص بالنموذج، ربما بعد إسقاط صغير، مباشرة كمدخل تالٍ. رمز تحكم خاص أو بوابة متعلمة تقرر في أي وضع أنت. تخطيطياً:

def hybrid_step(hidden_state, mode_gate, hybrid_link):
mode = mode_gate(hidden_state)  # learned: LATENT or TEXT
if mode == LATENT:
# No sampling. Feed the continuous thought back in.
next_input = hybrid_link.latent_in(hidden_state)
return next_input, None  # nothing human-readable emitted
# TEXT mode: normal autoregression
logits = lm_head(hidden_state)
token = sample(logits)
next_input = hybrid_link.text_in(embed(token))
return next_input, token  # inspectable output

النظام الحقيقي يضيف ذاكرة العمل وآلية التدريب، لكن هذه هي الحلقة الأساسية. لاحظ ما تعنيه لمكدس الخدمة لديك: خطوات الاستدلال الكامنة لا تزال تمريرات أمامية كاملة. أنت توفّر في عدد الرموز، أي طول المخرجات ونمو السياق وضغط ذاكرة KV-cache من المسارات الطويلة، لا في الحوسبة لكل خطوة. تأتي زيادة السرعة التي تتجاوز ضعفين في معظمها من تسلسلات أقصر وتقليل فك ترميز النص التلقائي، لا من تفكير مجاني. اقترح أحد المعلقين على الورقة الذهاب أبعد وتشغيل المسار الكامن بالتوازي مع توليد النص، لأنك تدفع ثمن التمريرة الأمامية على أي حال. فكرة مثيرة للاهتمام حقاً، وهي تدل على مدى حداثة مساحة التصميم هذه.

تكلفة قابلية التفسير التي لا يريد أحد دفعها

الآن الجزء الذي أكون مقصراً إن تجاوزته. مسار الاستدلال ليس مجرد أداة مساعدة للتصحيح، بل آلية أمان. حين يفعل وكيل شيئاً غريباً في الإنتاج، أول ما تفعله هو قراءة مساره. وحين يبحث باحثو المواءمة عن السلوك الخادع، يتفقدون الاستدلال الذي يناقض الإجابة النهائية. انقل الاستدلال إلى متجهات، وسيصبح كلا المسارين معتماً.

تدّعي الورقة أن ذاكرة العمل المستمرة تجعل الأفكار الكامنة «قابلة للفحص مباشرة». أصنّف هذا تحت «صحيح تقنياً ومضلل عملياً». يمكنك فحص المتجهات كما تفحص أي حالة مخفية: بمصنفات الاستقصاء، وإسقاطات المفكك، وتحليل أقرب الجيران في فضاء التضمين. هذه أدوات بمستوى البحث، لا سير عمل للمناوبة. الفرق كالفرق بين قراءة ملف سجل وربط مصحح أخطاء بملف تفريغ الذاكرة. بعضنا يشكّ منذ مدة في المبالغات حول قابلية التفسير، ومخزن ذاكرة العمل لا يغيّر عدم التماثل الجوهري: النص مقروء للجميع، والمتجهات الكامنة مقروءة لقلة تكاد لا تُذكر.

هناك أيضاً نمط فشل أقل نقاشاً: انتشار الخطأ الصامت. في مسار نصي، تكون الخطوة الوسيطة الخاطئة مرئية، وأحياناً تصحح نفسها، لأن النماذج تلتقط أخطاءها حين تعيد قراءتها. أما الفكرة الكامنة الخاطئة فتنتشر عبر ذاكرة العمل دون أي أثر نصي. قد تبدو الإجابة النهائية للوكيل طليقة بالقدر نفسه سواء كان استدلاله الكامن سليماً أو فاسداً. بالنسبة للفرق التي تشغّل الوكلاء في الإنتاج، يرتبط هذا مباشرة بـالمفاضلة بين الاحتواء والمراقبة: الوكلاء الهجينون يدفعونك نحو الاحتواء، لأن المراقبة أصبحت أصعب بكثير.

ذُكر في النقاش حول هذه الورقة أن الاستدلال الكامن كان محظوراً بشكل غير رسمي في أجزاء من مجتمع البحث لهذه الأسباب تحديداً. وذلك الحظر انتهى بوضوح. لا أرى في ذلك شراً تلقائياً، لكن من يحتفلون بأرقام الكفاءة يجب أن يكونوا صادقين بأنهم ينفقون قابلية التفسير لشرائها.

الفجوة بين الورقة ووحدة معالجة الرسوميات لديك

الكود والأوزان والبيانات متاحة للعامة، وهذا رائع فعلاً. لكنه أنتج أيضاً فحصاً فورياً للواقع. خلال ساعات، أبلغ ممارسون يشغّلون النماذج المنشورة محلياً عن سلوك منحرف: أحد إصدارات 8B المكمّاة علق في تكرار الفقرة نفسها من الاستدلال النصي إلى ما لا نهاية رداً على «من هو البابا؟»، وإصدار 14B ظل يدور في تنويعات من الفقرة نفسها لخمس دقائق في مهمة روتينية للبحث والتلخيص تنجزها نماذج مماثلة دون مشكلة.

ربما تكون تلك آثاراً لتكميم النموذج أو لعدم تطابق قوالب الدردشة، فدعم llama.cpp لبنية جديدة كلياً دائماً مقامرة. لكنني أشك أن فشل الحلقات ليس صدفة. التبدل بين الأوضاع سلوك متعلَّم، والسلوكيات المتعلَّمة هي بالضبط ما يكسره التكميم وانزياح التوزيع أولاً. النموذج الذي تكون سياسته بين الكامن والنصي منحرفة قليلاً لا يفشل بصوت عالٍ، بل يفشل بألا يقرر أبداً التوقف عن التفكير. هذا نمط فشل أسوأ بكثير لوكيل إنتاجي من الإجابة الخاطئة، لأنه يحرق الميزانية إلى أجل غير مسمى. إن كنت تبني حلقات وكلاء اليوم، فهذه حجة إضافية لوضع حدود صارمة للدورات والرموز حول كل استدعاء للنموذج، وهو النوع من الانضباط المذكور في كيف تنظّم واجهات سطر الأوامر الوكيلية حلقاتها، بغض النظر عن نموذج الاستدلال الذي تتبناه.

هل يهمك الأمر؟ حكم براغماتي

نعم، ولكن كإشارة تحذير، لا كاعتماد. قراءتي الصادقة:

• حجة الكفاءة حقيقية وبنيوية. النص وسط سيئ للحوسبة الداخلية، ومع تزايد أفق الوكلاء الزمني سيتضاعف عبء الرموز على السرد. نوع من الاستدلال الكامن سيصل إلى النماذج الإنتاجية شئنا أم أبينا، بل يمكن القول إن نهج المختبرات الرائدة في «ملخصات الاستدلال» المعتمة هو خطوة في هذا الطريق بالفعل.
• تكلفة قابلية التفسير حقيقية أيضاً، وهي مسعّرة بأقل من قيمتها حالياً. إن كانت حالتك تتطلب تدقيق سبب تصرف الوكيل، كما في الطب والمالية وأي مجال منظم، فإن مسارات النص ميزة تتخلى عنها على مسؤوليتك.
• الآثار الحالية بمستوى البحث. حلقات الانحلال على مطالبات بسيطة، وسلوك التكميم غير المؤكد، وسياسة تبدل بين الأوضاع لا يمكنك فحصها بسهولة، ليست أشياء تضعها خلف واجهة برمجة موجهة للعملاء.
• الإطار الهجين هو الصحيح. الاستدلال الكامن الخالص لم يكن ليصمد أمام واجهات الأدوات والمستخدمين، والاستدلال النصي الخالص لا يصمد أمام فاتورة الاستدلال. الحد المتعلَّم بين الاثنين هو ما ستنتهي إليه هذه التقنية.

النقطة الأعمق أن «التفكير بالكلمات» كان دائماً نتيجة عرضية لطريقة تدريبنا لهذه النماذج، لا قانوناً من قوانين الإدراك. لا توجد نظرية تقول إن اللغة هي الدقة الصحيحة للتفكير الآلي، والمفاجأة أنها أدّت الغرض بالقدر الذي أدّته. وكلاء الاستدلال الهجين هم أول تصور موثوق لما يأتي بعد ذلك: نماذج تتدبر في سرية، ولا تتكلم إلا حين يكون الكلام هو المهمة. وأرى أن السؤال المفتوح الأهم في تصميم الوكلاء الآن هو هل يمكننا بناء ذلك المستقبل دون أن نفقد القدرة على التحقق من عمل الآلة.