כיצד לקבוע אם כלי אכן בוצע בהצלחה?

אל תסתמך רק על סיכום הצלחה יחיד

סיכום השפה הטבעית של Agent צריך להתאים לפלט הכלי. הצלחת התחלת פקודה, הצלחת יציאת תוכנית, והשגת יעד המשימה הם שלושה רבדים שונים: תוכנית עשויה לצאת כרגיל אך עדיין לא לעבד את הקובץ שצוין.

ראשית אשר את סביבת היעד והקלט, ואז בדוק אם הפלט תומך מספיק במסקנה הסופית.

שפוט לפי ראיות נראות לעין

לדוגמה, במשימת יצירת דוח, בדוק שהקובץ קיים והתוכן שלם; למשימת בדיקת תוכנית, הסתכל על התוצאות בפועל והתנאים הרלוונטיים, לא רק אם יש הודעות שגיאה אדומות.

לדוגמה, אם הדוח מציין "הבדיקה עברה", שאל אילו קבצים כוסו על ידי הבדיקה, אילו קלטים שימשו, והאם פריטים כלשהם דולגו. סטטוס יציאה נכון תומך רק בשיפוט ברמת הביצוע; האם היעד שלך הושג עדיין צריך להתאים לקריטריוני הקבלה שהוסכמו בתחילה.

1. בדוק את סטטוס ביצוע הפקודה ואת הפלטים המרכזיים.
2. אשר שהקבצים המעובדים, הגרסאות או היעדים הם כצפוי.
3. בדוק את הקבצים שנוצרו ואת השדות הנדרשים.
4. ציין בבירור כל דרישות היקף שלא כוסו.

כאשר הפלט ארוך מאוד או שהפעלת ההיסטוריה הסתיימה

הכלי עשוי לשמור פלט מוגבל או לספק מיקום שמירה; אל תניח שתצוגה מקדימה של השיחה מציגה את כל הלוג. בקש מ-Agent לחלץ מקטעים רלוונטיים ולשמור את התוצאות המקוריות. "פועל" ברשומות ביצוע היסטוריות לא בהכרח מוכיח שהתהליך עדיין פועל ברגע זה; בעת חידוש משימה, אשר תחילה את הסטטוס והחפצים הנוכחיים לפני שתחליט על הצעד הבא.