القياس
فاتورة الرموز تخبرك بما أنفقته لا بما حصلت عليه. كيف تقيس الوكلاء ليتفق المالية والهندسة.
22 أكتوبر 2026 · 6 دقائق للقراءة
المخطط والمصادر باللغة الإنجليزية.
فاتورة الرموز الشهرية تخبرك بما أنفقته لا بما حصلت عليه. الفرق التي تشغّل وكلاءها جيدًا تقيس التكلفة لكل نتيجة وتربطها بنتيجة أعمال اختيرت قبل البناء.
اربط مؤشر أداء أعمال بكل وكيل مرشح عند القبول: زمن الدورة أو معدل الخطأ أو التكلفة لكل معاملة أو زمن الحل. فهو يشكّل مجموعة التقييم والمراقبة وقرار الإطلاق، ويمنع العائد على الاستثمار من أن يصبح حكاية تُركَّب بعد إنفاق المال.
الوحدة التي تصمد هي إجمالي تكلفة الوكيل مقسومًا على المهام الناجحة. فهي تلتقط إعادة المحاولات وإعادة العمل والتصعيدات ووقت المراجعة. قد يكون نموذج أرخص لكل استدعاء أغلى لكل نتيجة إذا احتاج عمله إلى تنظيف، بينما قد يفوز نموذج أغلى ينتهي في خطوات أقل.
نسبة النجاح في تشغيل واحد تخفي عدم الاتساق. تورد إرشادات Splunk بشأن تقييم الوكلاء مقياس pass^k، أي النجاح عبر محاولات متكررة، بجانب pass@k. في دراسة مقتبسة لاستخدام الحاسوب بلغ وكيل نحو 78% في pass@10 لكنه لم يتجاوز نحو 36% في pass^10: بدا قادرًا لكنه ظل غير متسق بما لا يسمح بالإطلاق. قس بحسب نوع المهمة، فجدولة المواعيد الصحية تتطلب اتساقًا شبه تام بينما قد يتحمل مسار المحتوى إعادة المحاولة.
ابدأ بمعدل إتمام المهام وتكلفة الجلسة ومقياس جودة واحد يناسب نمط الإخفاق الرئيسي: الاستناد إلى المصادر للوكلاء المعتمدين على الاسترجاع، ودقة استدعاء الأدوات للوكلاء الذين ينفذون إجراءات. وأضف سقوف إنفاق لكل ميزة وبدائل احتياطية، ليظهر الوكيل الجامح قبل الفاتورة.
قيمة كل مهمة مكتملة ناقص تكلفة كل مهمة مكتملة، مضروبًا في عدد المهام المكتملة. وللحصول على أنظف إجابة قارن بمجموعة ضابطة، لأن من يختارون استخدام وكيل يختلفون غالبًا عمّن لا يختارون.
حدّثنا عن عملية واحدة. يسعدنا أن نوضح لك كيف يمكن لوكيل التعامل معها، وما الذي يجب قياسه لتتأكد أنها تعمل.