Hackcat

如何判斷工具是否真正成功執行?

同時檢查退出狀態、實際輸出和產生的構件。

不要僅依賴單一成功摘要

Agent 的自然語言摘要需要與工具的輸出相符。命令啟動成功、程式退出成功和任務目標達成是三個不同的層級:程式可能正常退出,但仍未處理指定檔案。

首先驗證目標環境和輸入,然後檢查輸出是否充分支持最終結論。

憑可見證據判斷

例如,在報告生成任務中,檢查檔案是否存在且內容完整;對於程式檢查任務,查看實際結果和適用條件,而不僅僅是是否有紅色錯誤訊息。

例如,如果報告說明「檢查通過」,請詢問檢查涵蓋了哪些檔案、使用了什麼輸入以及是否跳過了任何項目。正確的退出狀態僅支持執行層級的判斷;您的目標是否達成仍需要與開始時約定的驗收標準相符。

  1. 檢查命令執行狀態和關鍵輸出。
  2. 確認處理的檔案、版本或目標符合預期。
  3. 檢查生成的檔案和必需的欄位。
  4. 清楚說明任何未涵蓋的範圍要求。

當輸出很長或歷史會話已結束時

工具可能保留有限的輸出或提供儲存位置;不要假設對話預覽顯示了整個日誌。讓Agent 提取相關片段並保留原始結果。「執行中」的歷史執行記錄並不一定證明該處理程序仍在執行中;恢復任務時,請先驗證當前狀態和構件,然後再決定下一步。