Hackcat

كيف تحدد ما إذا كانت الأداة قد تم تنفيذها بنجاح حقًا؟

تحقق من حالة الخروج، والمخرجات الفعلية، والقطع الأثرية التي تم إنشاؤها في وقت واحد.

لا تعتمد فقط على ملخص نجاح واحد

يجب أن يتوافق الملخص باللغة الطبيعية لـ Agent مع مخرجات الأداة. نجاح بدء الأمر، ونجاح خروج البرنامج، وتحقيق هدف المهمة هي ثلاثة مستويات مختلفة: قد يخرج البرنامج بشكل طبيعي ولكنه لا يزال لا يعالج الملف المحدد.

تحقق أولاً من البيئة المستهدفة والإدخال، ثم تحقق مما إذا كانت المخرجات تدعم الاستنتاج النهائي بشكل كافٍ.

احكم بالأدلة المرئية

على سبيل المثال، في مهمة إنشاء تقرير، تحقق من وجود الملف واكتمال المحتوى؛ بالنسبة لمهمة فحص البرنامج، انظر إلى النتائج الفعلية والشروط المعمول بها، وليس فقط ما إذا كانت هناك رسائل خطأ حمراء.

على سبيل المثال، إذا ذكر التقرير "تم اجتياز الفحص"، فاسأل عن الملفات التي غطاها الفحص، وما هي المدخلات التي تم استخدامها، وما إذا تم تخطي أي عناصر. حالة الخروج الصحيحة تدعم الحكم على مستوى التنفيذ فقط؛ ما إذا كان هدفك قد تحقق لا يزال بحاجة إلى التوافق مع معايير القبول المتفق عليها في البداية.

  1. تحقق من حالة تنفيذ الأمر والمخرجات الرئيسية.
  2. تأكد من أن الملفات المعالجة، أو الإصدارات، أو الأهداف كما هو متوقع.
  3. افحص الملفات التي تم إنشاؤها والحقول المطلوبة.
  4. اذكر بوضوح أي متطلبات نطاق غير مغطاة.

عندما تكون المخرجات طويلة جدًا أو انتهت جلسة السجل

قد تحتفظ الأداة بمخرجات محدودة أو توفر موقع حفظ؛ لا تفترض أن معاينة المحادثة تعرض السجل بأكمله. اطلب من Agent استخراج الأجزاء ذات الصلة والحفاظ على النتائج الأصلية. "قيد التشغيل" في سجلات التنفيذ التاريخية لا يعني بالضرورة أن العملية لا تزال قيد التشغيل في هذه اللحظة؛ عند استئناف مهمة، تحقق أولاً من الحالة الحالية والقطع الأثرية قبل تحديد الخطوة التالية.