الـمعيار (benchmark) مجموعة من سيناريوهات التقييم تُعاد تشغيلها تلقائيًا على pipeline. وهو أداة قياس جودة الوكيل بموضوعية والتقاط التراجعات قبل أن تصل إلى الإنتاج.
لماذا
الوكيل الذي «بدا أنه يعمل» قد يتراجع بصمت بعد:
- تغيير في المهمّة؛
- تغيير في نموذج LLM؛
- إضافة أداة جديدة.
بلا معيار، تكتشف ذلك في الإنتاج. ومع معيار، تراه في التشغيل التالي — قبل مستخدميك.
بنية السيناريو
يحتوي السيناريو على:
- مُحفِّز (stimulus) — الإدخال الذي يستقبله الـpipeline (رسالة أو تسلسل دورات، بيانات تجريبية fixtures).
- فحوص (Checks) — تأكيدات صريحة تُقيَّم على كل دورة: المخرَج المُنتَج، شكل الردّ، سلسلة استدعاءات الأدوات، تكلفة الإجراءات.
كتالوج الفحوص
| الفحص | ما يتحقّق منه |
|---|---|
pipeline_output_match | مفتاح في تدفّق الإخراج يطابق القيمة المتوقَّعة (مسار + تأكيد) |
response_shape | شكل ردّ الوكيل (الطول، البنية)، مُقاسًا دون حَكَم |
llm_rubric | مضمون الردّ، يقيّمه حَكَم LLM وفق قائمة معايير قابلة للتحقّق |
tool_chain_analysis | تسلسل استدعاءات الأدوات يتبع الاستراتيجية المتوقَّعة |
tool_cost | ميزانية الإجراءات: لكل استدعاء تكلفة، وبلوغ الهدف يمنح مكافأة |
static / tests / diff_quality | فحوص موجَّهة للملفات والشيفرة (مخرَج pipeline تطوير) |
الكتالوج قابل للتوسّع على جانب المنصّة: كل فحص إضافة (plugin) مُسجَّلة على جانب الخادم.
إنشاء معيار
- التطبيقات ← التقييم ← السيناريوهات.
- أنشئ السيناريوهات (المُحفِّز، الفحوص، البيانات التجريبية)؛ كل سيناريو مخصّص لنموذج واحد (الـpipeline المستهدَف). وتُدار البيانات التجريبية في تبويب الدعائم.
يمكن أيضًا إنشاء سيناريو أو تعديله عبر مقترح من خادم MCP (benchmark_create / benchmark_update)، يبقى معلّقًا إلى حين قبوله.
المعيار الجيّد يتضمّن مزيجًا: الحالة الاسمية، الحالات الحدّية، الحالات العدائية (محاولات التلاعب، الالتباس، البيانات المفقودة).
تشغيل معيار
من واجهة الإدارة، أطلِق تشغيلًا: يوضَع في طابور متين ثم ينفّذه عامل (worker) مخصّص، خارج خادم الويب. وإذا توقّف هذا العامل في منتصف التشغيل، يُوسَم التشغيل بأنه فاشل عند إعادة التشغيل (ولا يُستأنَف تلقائيًا): أعِد إطلاقه. ويعرض درجٌ التفاصيل لكل سيناريو.
يُظهِر التقرير:
- معدّل النجاح لكل فحص
- تطوّر الدرجات بين عمليات التشغيل (تبويبا السجلّ والتطوّر)
- قائمة السيناريوهات الفاشلة، مع تفصيل كل فحص
أفضل الممارسات
- ابدأ صغيرًا — 5 سيناريوهات مُستهدَفة جيّدًا تساوي أكثر من 50 سيناريو تقريبيًا.
- قِس قبل كل نشر، وقارن بالتشغيل السابق قبل الدفع.
- أخضِع مهامك لإدارة النسخ. ليس الـpipelines فقط: فالمهام تتطوّر أيضًا.
- حافظ على وضوح الفحوص. الفحص الذي يتطلّب 20 سطرًا من الشرح لفهمه هو فحص يحتاج إلى تفكيك.