Làm sao xác định công cụ đã thực sự thực thi thành công?
Kiểm tra đồng thời trạng thái thoát, đầu ra thực tế và sản phẩm được tạo.
Đừng chỉ dựa vào một câu tóm tắt thành công
Tóm tắt bằng ngôn ngữ tự nhiên của Agent cần tương ứng với đầu ra công cụ. Khởi chạy lệnh thành công, chương trình thoát thành công và đạt mục tiêu tác vụ là ba cấp độ khác nhau: chương trình có thể thoát bình thường nhưng vẫn chưa xử lý tệp được chỉ định.
Xác minh môi trường mục tiêu và đầu vào trước, rồi kiểm tra đầu ra có đủ hỗ trợ kết luận cuối cùng hay không.
Đánh giá bằng bằng chứng nhìn thấy được
Ví dụ, với tác vụ tạo báo cáo, kiểm tra tệp tồn tại và nội dung đầy đủ; với tác vụ kiểm tra chương trình, xem kết quả thực tế và điều kiện áp dụng, không chỉ xem có thông báo lỗi màu đỏ hay không.
Ví dụ, nếu báo cáo ghi "kiểm tra đạt", hãy hỏi phép kiểm tra bao phủ tệp nào, dùng đầu vào gì và có bỏ qua mục nào không. Trạng thái thoát đúng chỉ hỗ trợ đánh giá ở cấp thực thi; mục tiêu của bạn đã đạt chưa vẫn cần đối chiếu với tiêu chí nghiệm thu thống nhất ban đầu.
- Kiểm tra trạng thái thực thi lệnh và đầu ra chính.
- Xác nhận tệp, phiên bản hoặc mục tiêu được xử lý đúng dự kiến.
- Kiểm tra các tệp được tạo và trường cần thiết.
- Nêu rõ các yêu cầu về phạm vi chưa được bao phủ.
Khi đầu ra rất dài hoặc phiên trong lịch sử đã kết thúc
Công cụ có thể chỉ giữ đầu ra giới hạn hoặc cung cấp vị trí lưu; đừng mặc định bản xem trước cuộc trò chuyện hiển thị toàn bộ nhật ký. Yêu cầu Agent trích đoạn liên quan và giữ kết quả gốc. “Đang chạy” trong bản ghi thực thi lịch sử chưa chắc chứng minh tiến trình vẫn chạy lúc này; khi tiếp tục tác vụ, trước tiên xác minh trạng thái hiện tại và sản phẩm đầu ra rồi mới quyết định bước tiếp theo.