المعايير (Benchmarks)
الـمعيار (benchmark) مجموعة من سيناريوهات التقييم تُعاد تشغيلها تلقائيًا على pipeline. وهو أداة قياس جودة الوكيل بموضوعية والتقاط التراجعات قبل أن تصل إلى الإنتاج.
لماذا
الوكيل الذي «بدا أنه يعمل» قد يتراجع بصمت بعد:
- تغيير في المهمّة؛
- تغيير في نموذج LLM؛
- إضافة أداة جديدة.
بلا معيار، تكتشف ذلك في الإنتاج. ومع معيار، يحذّرك المحرّر قبل النشر.
بنية السيناريو
يحتوي السيناريو على:
- مُحفِّز (stimulus) — الإدخال الذي يستقبله الـpipeline (رسالة، حمولة، مكالمة هاتفية محاكاة).
- تسلسل متوقَّع — دورات المحادثة، الأدوات المُستدعاة، المخرجات المُنتَجة.
- فحوص (Checks) — تأكيدات صريحة: «يجب أن يستدعي الوكيل
crm.search_customer»، «يجب أن يحتوي الردّ على كلمة ‹refund›»، «يجب أن يكتمل الـpipeline في أقل من 3 دورات».
كتالوج الفحوص
| الفحص | ما يتحقّق منه |
|---|---|
tool_called | استُدعيت أداة محدَّدة (اختياريًا بوسائط محدَّدة) |
tool_not_called | لم تُستدعَ أداة (مضادّ للإيجابيات الكاذبة) |
output_contains | يحتوي إخراج الوكيل على نصّ / نمط معيّن |
output_matches_json | يُصادِق إخراج JSON على مخطَّط معيّن |
turn_count_max | اكتمل الـpipeline في ≤ N دورة |
cost_max | إجمالي التكلفة ≤ N credit |
latency_max | المدّة ≤ N ثانية |
branch_taken | وجّه الشرط إلى الفرع الصحيح |
الفحوص قابلة للتوسّع: في خطة Enterprise، يمكنك إضافة فحوص مخصّصة عبر operator.
إنشاء معيار
- مصمّم ← المعايير ← معيار جديد.
- اختر الـpipeline المستهدَف.
- أضِف السيناريوهات. ويمكنك:
- الصياغة يدويًا (الخيار الأدقّ).
- الالتقاط من السجلّ — تحويل عملية تنفيذ حقيقية إلى سيناريو (مع الإخفاء).
المعيار الجيّد يتضمّن مزيجًا: الحالة الاسمية، الحالات الحدّية، الحالات العدائية (محاولات التلاعب، الالتباس، البيانات المفقودة).
تشغيل معيار
من واجهة الإدارة:
- تشغيل مفرد — نتائج فورية، درج بتفصيل لكل سيناريو.
- تشغيل مجدول — كل ليلة، عند كل نشر لنسخة جديدة، إلخ.
يُظهِر التقرير:
- معدّل النجاح لكل فحص
- التراجع مقارنةً بالنسخة السابقة
- قائمة السيناريوهات الفاشلة، مع فرق مقابل النتيجة المتوقَّعة
أفضل الممارسات
- ابدأ صغيرًا — 5 سيناريوهات مُستهدَفة جيّدًا تساوي أكثر من 50 سيناريو تقريبيًا.
- قِس قبل كل نشر. يمكن للمحرّر حجب النشر إذا تراجع المعيار.
- أخضِع مهامك لإدارة النسخ. ليس الـpipelines فقط: فالمهام تتطوّر أيضًا.
- حافظ على وضوح الفحوص. الفحص الذي يتطلّب 20 سطرًا من الشرح لفهمه هو فحص يحتاج إلى تفكيك.