چگونه تعیین کنیم که آیا یک ابزار واقعاً با موفقیت اجرا شده است؟

فقط به یک خلاصه موفقیت تکیه نکنید

خلاصه زبان طبیعی Agent باید با خروجی ابزار مطابقت داشته باشد. موفقیت شروع دستور، موفقیت خروج برنامه، و دستیابی به هدف وظیفه سه سطح متفاوت هستند: یک برنامه ممکن است به طور عادی خارج شود اما همچنان فایل مشخص شده را پردازش نکند.

ابتدا محیط هدف و ورودی را تأیید کنید، سپس بررسی کنید که آیا خروجی به اندازه کافی از نتیجه نهایی پشتیبانی می‌کند.

بر اساس شواهد قابل مشاهده قضاوت کنید

به عنوان مثال، در یک وظیفه تولید گزارش، بررسی کنید که فایل وجود دارد و محتوا کامل است؛ برای یک وظیفه بررسی برنامه، به نتایج واقعی و شرایط قابل اجرا نگاه کنید، نه فقط به اینکه آیا پیام‌های خطای قرمز وجود دارد.

به عنوان مثال، اگر گزارش می‌گوید "بررسی با موفقیت انجام شد"، بپرسید که کدام فایل‌ها تحت پوشش بررسی قرار گرفتند، چه ورودی‌هایی استفاده شد، و آیا مواردی نادیده گرفته شدند. وضعیت خروج صحیح فقط از قضاوت در سطح اجرا پشتیبانی می‌کند؛ اینکه آیا هدف شما محقق شده است هنوز باید با معیارهای پذیرش که در ابتدا توافق شده بود مطابقت داشته باشد.

1. وضعیت اجرای دستور و خروجی‌های کلیدی را بررسی کنید.
2. تأیید کنید که فایل‌های پردازش شده، نسخه‌ها یا اهداف همانطور که انتظار می‌رفت هستند.
3. فایل‌های تولید شده و فیلدهای مورد نیاز را بازرسی کنید.
4. هرگونه الزامات دامنه پوشش داده نشده را به وضوح بیان کنید.

هنگامی که خروجی بسیار طولانی است یا جلسه تاریخچه پایان یافته است

ابزار ممکن است خروجی محدودی را حفظ کند یا مکانی برای ذخیره ارائه دهد؛ فرض نکنید پیش‌نمایش مکالمه کل گزارش را نشان می‌دهد. از Agent بخواهید بخش‌های مرتبط را استخراج کرده و نتایج اصلی را حفظ کند. "در حال اجرا" در سوابق اجرای تاریخی لزوماً اثبات نمی‌کند که فرآیند در حال حاضر در حال اجرا است؛ هنگام از سرگیری یک وظیفه، ابتدا وضعیت فعلی و مصنوعات را قبل از تصمیم‌گیری در مورد گام بعدی تأیید کنید.