لماذا تغفل اختبارات الذكاء الاصطناعي 90% من العمل الفعلي

صديقة لي تدير العمليات في شركة لوجستية متوسطة الحجم، وفي الربيع الماضي قضى فريقها ثلاثة أسابيع في تقييم ما إذا كان نموذج LLM يستطيع أن يتولى سير عمل معالجة الاستثناءات لديهم، وهو العمل الممل الذي يتمثل في مطابقة الفواتير التي لا تتوافق مع أوامر الشراء عبر ثلاثة أنظمة لا تطيق بعضها. كان عرض المورّد مليئاً بأرقام مبهرة: MMLU وGSM8K وHumanEval وعدد من اختبارات الوكلاء. وقد نجح النموذج في كل اختبار جاهز قدّموه له. ثم وجّهوه إلى أسبوع حقيقي من الاستثناءات، فطابق بثقة فاتورة بقيمة 14,000 دولار مع أمر شراء خاطئ، لأن أحد الموردين كتب اسمه المختصر بطريقة مختلفة. لا يقيس أي لوحة متصدرين هذا النوع من الأخطاء.

أصبحت هذه الفجوة قابلة للقياس الآن. فقد وجدت دراسة حديثة قارنت الاختبارات العامة للذكاء الاصطناعي بتصنيف O*NET التابع لوزارة العمل الأمريكية، الذي يضم 923 مهنة و18,797 مهمة تشكل العمل في أمريكا، أن 90% من ساعات العمل في البلاد تُصرف على مهام لا تغطيها اختبارات تُذكر أو لا تغطيها إطلاقاً. فمن بين 923 مهنة، هناك 208 فقط لديها مهمة واحدة على الأقل مدعومة بخمسة اختبارات أو أكثر. وست عائلات مهنية من أصل 22 لا تملك أي تغطية. والاستنتاج المزعج ليس أن الذكاء الاصطناعي ضعيف، بل أن أدوات قياس قدراته موجهة بالكامل تقريباً نحو جزء صغير من الاقتصاد.

ما الذي تغطيه اختبارات الذكاء الاصطناعي فعلاً

يستحق المنهج الذي اعتمدته هذه الدراسة أن نفهمه، فهو أدق مما توحي به العناوين. أخذ الباحثون 29 اختباراً عالي الجودة وغير مشبع، من نوع اختبارات الوكلاء التي يجب فيها على النموذج أن ينفذ عملاً فعلياً بدلاً من الإجابة عن أسئلة، واستخدموا نموذج LLM كحكم (جرى التحقق من دقته مقارنة بخبراء بشر) لوسم كل سؤال اختباري بالمهام الخاصة بتصنيف O*NET التي يختبرها. وتُعتبر المهمة «مغطاة» إذا ارتبط بها خمسة أسئلة على الأقل. وبدمج ذلك مع تقديرات الوقت الذي تستغرقه كل مهمة، نحصل على صورة شاملة للاقتصاد كله عمّا تستطيع مجموعة تقييماتنا رؤيته.

ما تراه هذه المجموعة ضيق ومرتفع، وليس واسعاً. فهندسة البرمجيات والتحليل المالي مشبعان بالاختبارات. أما قيادة الشاحنات، وتشغيل محطات الغاز، وخدمات الطعام، ومعظم العمل اليومي في قطاع الرعاية الصحية، فهي شبه غائبة تماماً. والانحياز لا يقتصر على المهام القابلة للأتمتة تقنياً. فالمهام الموسومة بأنها «معرّضة للذكاء الاصطناعي» تُختبر بنحو ستة أضعاف احتمال اختبار المهام غير المعرّضة، وهذا منطقي، لكن حتى بعد ضبط هذا العامل تبقى المهام المنتمية إلى مهن ذات كتلة أجور كبيرة ممثلة بزيادة ملحوظة. فمهام المحامين مغطاة بكثافة، بينما يكاد يغيب السكرتاريون القانونيون وكتبة المحاكم، رغم أنهم يواجهون تعرضاً مشابهاً للذكاء الاصطناعي.

اقرأ ذلك مرة أخرى: نحن نقيس الذكاء الاصطناعي على النسخة المرموقة من الوظيفة، ونتجاهل النسخة التي يعمل بها معظم الناس فعلاً. أما الشريحة الواسعة من أعمال المعرفة متوسطة الدخل، من منسقين وكتبة وأخصائيين ومجدولين تتراكم ساعات عملهم لتشكل حصة هائلة من الاقتصاد، فلا تملك تقريباً أي بنية قياس. وعندما يزعم أحدهم أن الذكاء الاصطناعي يستطيع إنجاز نسبة معينة من «أعمال المعرفة»، فاسأل: أي أعمال معرفة؟ وكيف قيست؟ وبالمقارنة مع أي قائمة مهام؟ والجواب الصادق غالباً هو: شريحة رفيعة وغير ممثلة، تُقاس باختبارات صُممت لأوراق البحث العلمي.

تشبّع الاختبارات فشل في تصميم التقييم

قضيت سنوات في بناء خطوط تقييم، وكان أصعب درس تعلمته هو أن الاختبار نموذج للعالم، ومعظم الاختبارات نماذج سيئة. فهي تضغط مهمة بشرية فوضوية وسياقية ومتعددة الخطوات في سؤال نظيف له إجابة قابلة للتحقق، لأن هذا هو ما يكلف القليل لتصحيحه. ثم يكمل قانون Goodhart الباقي. فما إن يصبح الاختبار هدفاً لتطوير النموذج، حتى يتوقف عن قياس القدرة التي صُمم ليمثلها. تمتص بيانات التدريب توزيع الاختبار، ويضبط الفرق أداءها على لوحة المتصدرين، وترتفع الدرجات بينما ينحرف الأداء الفعلي في العالم الحقيقي عن مساره.

التشبّع هو العَرَض الظاهر. فعندما تحصل كل النماذج الرائدة على أكثر من 90% في اختبار ما، يتوقف الاختبار عن التمييز بين النماذج، لكن المشكلة الأعمق أننا نرد ببناء اختبار آخر بالأسلوب نفسه، يغطي الأنواع نفسها من المهام، لأنها المهام التي نعرف كيف نصححها تلقائياً. فأسئلة الاختيار من متعدد تولّد أسئلة أصعب من النوع نفسه، ومسائل البرمجة تولّد مسائل برمجة أصعب. وفي المقابل، لا أحد يبني اختباراً لمهارة مثل «لاحظ أن بند التعويض في هذا العقد يناقض بهدوء شروط ورقة الاتفاق المؤرخة في مارس»، لأن تصحيح ذلك يتطلب محامياً ووقتاً وأحكاماً تقديرية تقاوم الأتمتة.

لهذا أختلف مع الرأي القائل بأن تشبّع الاختبارات يعني أن الذكاء الاصطناعي «حلّ» مجالاً معيناً. فالتشبّع يعني ببساطة أن أداة القياس وصلت إلى حدها الأقصى. فمقياس الحرارة الذي يثبت عند 40 درجة مئوية لم يثبت أن الغرفة 40 درجة، بل أثبت أنك بحاجة إلى مقياس آخر. وإذا كنت تقيّم النماذج للاستخدام في الإنتاج، وخصوصاً إذا كنت تبني أنظمة قرار تعتمد على LLM حيث للأخطاء تكلفة حقيقية، فإن فروق المتصدرين على اختبارات مشبعة يجب ألا تحمل أي وزن تقريباً في قرارك.

نعرف بدقة مدى جودة النماذج في العمل الذي قررنا قياسه. ولا نعرف تقريباً شيئاً عن التسعين بالمئة الأخرى.

تأثير عمود الإنارة في تقييم الذكاء الاصطناعي

هناك نكتة قديمة عن رجل مخمور يبحث عن مفاتيحه تحت عمود إنارة، ليس لأنه أضاعها هناك، بل لأن الضوء موجود هناك. وبناء الاختبارات يتبع المنطق نفسه، والبيانات تؤكد أن الأمر ليس عشوائياً. فقد وجدت الدراسة أن أهمية المهمة داخل المهنة تتنبأ بمدى تغطيتها: فالمهام التي صنّفها O*NET بأنها الأكثر أهمية لمهنتها تُختبر بنحو ستة إلى عشرة أضعاف احتمال اختبار أقلها أهمية. ظاهرياً، يبدو هذا ترتيباً منطقياً للأولويات. لكن عملياً يعني أننا نقيس المهام الواجهة ونتجاهل النسيج الرابط بينها.

كل وظيفة تتكون في معظمها من ذلك النسيج الرابط. فالمهمة المختبَرة لمهندس البرمجيات هي «نفّذ دالة تجتاز هذه الاختبارات». أما يومه الفعلي فيتضمن قراءة ترحيل نصف مكتمل كتبه زميل، ومعرفة أي صاحب مصلحة يملك القرار فعلاً، وملاحظة أن التذكرة تصف المشكلة الخاطئة. وقد كتبت سابقاً عن أن أدوات البرمجة الوكيلية تنجح أو تفشل بناءً على هذا بالضبط: فحلقة العمل والسياق وحدود الصلاحيات أهم من جودة التوليد الخام. ولا يظهر أي من ذلك في درجة من نوع HumanEval.

وهناك أيضاً مشكلة تعريف دقيقة في أرقام التغطية نفسها. فكلمة «مغطاة» تعني أن خمسة أسئلة أو أكثر ترتبط بالمهمة، وليس أن هذه الأسئلة الخمسة تلتقط المهمة فعلاً. فثلاثة عشر سؤالاً عن تقديم المشورة للآباء في مشكلات تربية الأطفال لا تمثل ما يفعله الأخصائي الاجتماعي عبر حالاته ومحكمته وزياراته المنزلية. ولو طبّقنا تعريفاً عادياً لكلمة «مغطاة جيداً»، فلن تكون النسبة المقاسة من الاقتصاد 10%، بل ستقترب من الصفر. فعمود الإنارة ليس ضيقاً فحسب، بل إن الضوء الذي يلقيه خافت أيضاً.

النماذج تولّد، لكن لا أحد يختبر الحكم

هذا هو اللاتماثل الذي أجده الأكثر إدانة. فتقريباً كل اختبار موجود يقيس الإنتاج: اكتب الشيفرة، وصغ المذكرة، وحل المشكلة. لكن النصف الحاسم اقتصادياً من معظم المهام الحقيقية هو الاكتشاف، أي التقاط الخطأ، ورصد التناقض، ومعرفة متى تكون الإجابة الواثقة خاطئة. فقيمة المحاسب المبتدئ ليست في إنتاج التسوية، بل في ملاحظة أن رقماً ما يبدو مريباً. ونادراً ما تختبر الاختبارات هذه المهارة، لأن بناء مهمة مُقيّمة لاكتشاف الأخطاء أصعب بكثير من بناء مهمة مُقيّمة للتوليد. فأنت بحاجة إلى مخرجات معيبة واقعية، وأخطاء معقولة لكنها خاطئة بدقة، واتفاق بشري على ما يُعد اكتشافاً.

هذه هي مغالطة البوّاب مطبّقة على تصميم التقييم. فاستبدل البوّاب بباب أوتوماتيكي، وستكتشف متأخراً أن البوّاب كان يرحب بالسكان ويستلم الطرود ويراقب الشارع أيضاً. وعندما تؤتمت الجزء المختبَر من الوظيفة، تكتشف أن الأجزاء غير المختبَرة كانت تحمل الوزن. فقد كان نموذج صديقتي قادراً على كتابة ملاحظات تسوية ممتازة، وهي المهمة الظاهرة، بينما كان يُفسد المطابقة بصمت، وهي الحكم الذي جعل تلك الملاحظات تستحق الكتابة أصلاً. لقد قيّمت مجموعة الاختبارات الزينة وتجاهلت الوجبة نفسها.

إلى أن يحظى اكتشاف الأخطاء بمعاملة من الدرجة الأولى في الاختبارات، توقع فجوة مستمرة بين أداء العروض التوضيحية وأداء النشر. وهي الفجوة نفسها الموجودة بين ما تقوله المواصفة وما يفعله التطبيق، وكما في البرمجيات، فإن الفشل يتكاثر داخل هذه الفجوة. فالنموذج الذي يولّد عند المئين التسعين ويتحقق عند المئين الثلاثين هو، في الإنتاج، موظف عند المئين الثلاثين لكنه يكتب أسرع.

ترجيح التقييمات وفق توزيع المهام الحقيقي

أعملي فكرة في دراسة ربط الاختبارات بالمهام هي أيضاً الأبسط: إذا كانت الاختبارات تبالغ في تمثيل بعض المهام، فتوقف عن حساب المتوسط على الأسئلة، وابدأ بحسابه على المهام، موزوناً بمقدار وقت العمل الذي تستهلكه كل مهمة فعلاً. فالمتوسط البسيط لكل سؤال موسوم بـ«محلل مالي» تهيمن عليه المهمة التي لديها أكبر عدد من الأسئلة، وغالباً هي التي كان أسهل بناء مجموعة بيانات لها. أما المتوسط الموزون وفق O*NET فيمنح كل مهمة حقيقية وزناً متساوياً. وقد يكون الفرق كبيراً جداً.

import pandas as pd
# The tasks an occupation actually performs, with time shares
# (from O*NET, your own ticket logs, or time-tracking data)
tasks = pd.DataFrame({
"task": ["draft contract", "advise client", "review filing", "coordinate closing"],
"time_share": [0.30, 0.25, 0.35, 0.10],
})
# Model results: one row per eval prompt, mapped to the task it exercises
results = pd.DataFrame({
"prompt_id": ["p1", "p2", "p3", "p4", "p5"],
"task": ["draft contract", "draft contract", "draft contract",
"review filing", "coordinate closing"],
"score": [0.92, 0.88, 0.95, 0.61, 0.40],
})
# Naive: flat average over prompts. Drafting has 3 of 5 prompts,
# so the score is dominated by the model's best task.
naive = results["score"].mean()  # 0.752
# Task-weighted: average within each task first, then weight by
# the share of working hours that task consumes.
per_task = results.groupby("task")["score"].mean()
weights = tasks.set_index("task")["time_share"]
weighted = (per_task * weights).sum() / weights[per_task.index].sum()
# 0.30*0.917 + 0.35*0.61 + 0.10*0.40, over covered time (0.75) = 0.705
# vs naive 0.752 — and 'advise client' (25% of the job) has no data at all

هناك أمران ينبغي ملاحظتهما في هذا المقتطف. أولاً، ينخفض المتوسط الموزون لأن أضعف مهام النموذج كانت ممثلة بأقل من حقها في مجموعة الأسئلة، وهذا بالضبط التشويه الذي يخفيه المتوسط البسيط. ثانياً، والأهم: مهمة «تقديم المشورة للعميل» تختفي تماماً من الحساب لأنه لا يوجد أي سؤال مرتبط بها. وأي مخطط ترجيح يُسقط بصمت المهام ذات التغطية الصفرية، والتغطية الصفرية هي القاعدة لمعظم الاقتصاد. فالترجيح يعالج مشكلة الترجيح، لكنه لا يعالج مشكلة البيانات المفقودة. وهذه تتطلب بناء تقييمات جديدة، لا إعادة حساب متوسط القديمة.

كيف تقيّم الذكاء الاصطناعي وفق العمل الذي تقوم به فعلاً

إذا كنت تختار نماذج أو تنشرها، فإن فجوة التغطية على مستوى الاقتصاد لها دلالة عملية واضحة: الاختبارات العامة مؤشر ضعيف لحالتك، إلا إذا كنت تعمل صدفة في الركن الصغير اللامع الذي تقيسه. لذا ابنِ ركنك الخاص. وهذا أقل بطولية مما يبدو، ويتفوق بفارق كبير على الثقة بعرض المورّد.

• اختر المهام من السجلات لا من الخيال. اسحب أسبوعاً من التذاكر والرسائل والاستثناءات الحقيقية، ثم اختر منها وفق التكرار. يجب أن تعكس مجموعة التقييم توزيع أعبائك الفعلي، بما في ذلك الذيل المملّ، فالذيل المملّ هو معظم العمل.
• رجّح وفق الوقت أو التكلفة، ثم أبلغ عن الرقمين. المتوسط البسيط والمتوسط الموزون يحددان الحقيقة بين طرفيهما. فإذا فاز النموذج في المتوسط البسيط وخسر في الموزون، فهو جيد في المهام السهلة الاختبار، وهذا تحديداً نمط الفشل الذي تحاول كشفه.
• أدرج مهام التحقق. خذ مخرجات حقيقية، بما فيها مخرجات معروفة بأنها خاطئة، وقيّم النموذج على التقاط الأخطاء المزروعة والطبيعية. ومن تجربتي، تكاد مهارة الاكتشاف لا ترتبط بمهارة التوليد، والاكتشاف هو ما تشتريه فعلاً.
• احتفظ بمجموعة خاصة وجدّدها. أي تقييم تعيد استخدامه لشهور يصبح هدفاً للتدريب، حتى دون قصد، بمجرد أن يبدأ أحد بضبط الأوامر وفقه. استبدل الحالات كل ربع سنة.
• قيّم النتائج من البداية إلى النهاية حيثما أمكن. إذا كانت المهمة هي «طابق هذه الفاتورة»، فقيّم المطابقة نفسها، لا النص الوسيط. فالمقاييس الوسيطة تجمّل النماذج بالطريقة نفسها التي تجمّل بها اختبارات الوحدة شيفرة لا تملك تغطية تكامل.

هناك أثر أخير أهدأ يستحق الذكر، ويعرفه كل من يستخدم أدوات البرمجة بالذكاء الاصطناعي يومياً: مرض تكلفة Baumol على المستوى المصغّر. فعندما يصبح التوليد أسرع بعشرين مرة، لا تقضي يومك في التوليد، بل تقضيه في الأجزاء التي لم تتسارع، أي المراجعة والتنسيق والتحقق والقرار. ولا تتقلص البقية غير المختبَرة مع تحسن الذكاء الاصطناعي، بل تكبر لتملأ الوقت المحرَّر، وتصبح حصة أكبر مما يحدد ما إذا كان نشر الذكاء الاصطناعي يستحق العناء. فقياس الشريحة القابلة للأتمتة بدقة متزايدة مع تجاهل ما تبقى ليس عملاً ناقصاً فحسب، بل يقلب الأولويات رأساً على عقب.

لا يعني هذا أن تقدم الذكاء الاصطناعي وهمي، فمكاسب القدرات حقيقية، وقد راهنت بمشاريع عليها. بل هو جدال حول أن ثقافتنا في القياس موجهة نحو التوزيع الخاطئ. فقد بُنيت الاختبارات حيث كانت الأسئلة رخيصة الكتابة والتصحيح: الشيفرة والرياضيات والمعرفة بأسلوب الامتحانات. والاقتصاد ليس في معظمه كذلك. وحتى يلحق التقييم بالواقع، تعامل مع كل ادعاء عن قدرة يتصدر العناوين على أنه وصف للعُشر المضيء من الخريطة، وابنِ التقييمات التي تغطي التسعين بالمئة المظلمة الخاصة بك. والمؤسسات التي تقوم بعمل القياس المملّ وغير البرّاق هذا ستتخذ قرارات نشر أفضل من الجميع الذين يكتفون بتحديث لوحات المتصدرين، وليس الفرق بسيطاً.