Hackcat

도구가 실제로 성공적으로 실행되었는지 어떻게 판단하나요?

종료 상태, 실제 출력, 생성된 산출물을 함께 확인하세요.

성공했다는 요약만 믿지 않기

Agent의 자연어 요약은 도구 출력과 일치해야 합니다. 명령 시작 성공, 프로그램 정상 종료, 작업 목표 달성은 서로 다른 수준입니다. 프로그램이 정상 종료되었어도 지정한 파일을 처리하지 않았을 수 있습니다.

먼저 대상 환경과 입력을 확인한 뒤 출력이 최종 결론을 충분히 뒷받침하는지 확인하세요.

확인 가능한 근거로 판단하기

예를 들어 보고서 생성 작업에서는 파일 존재 여부와 내용의 완전성을 확인하세요. 프로그램 검사 작업에서는 빨간 오류 메시지가 있는지만 보지 말고 실제 결과와 적용 조건을 확인하세요.

예를 들어 보고서에 ‘검사 통과’라고 적혀 있다면 어떤 파일을 검사했고 어떤 입력을 사용했으며 건너뛴 항목이 있는지 물어보세요. 올바른 종료 상태는 실행 수준의 판단만 뒷받침합니다. 목표 달성 여부는 시작할 때 합의한 검증 기준과 여전히 대조해야 합니다.

  1. 명령 실행 상태와 핵심 출력을 확인하세요.
  2. 처리한 파일, 버전, 대상이 예상과 일치하는지 확인하세요.
  3. 생성된 파일과 필수 필드를 확인하세요.
  4. 확인하지 못한 범위의 요구 사항을 명확히 적으세요.

출력이 아주 길거나 이전 세션이 종료된 경우

도구는 제한된 출력만 보관하거나 저장 위치를 제공할 수 있습니다. 대화 미리보기에 전체 로그가 나온다고 가정하지 마세요. Agent에 관련 구간을 추출하고 원본 결과를 보존하도록 요청하세요. 과거 실행 기록의 ‘실행 중’ 표시가 지금도 프로세스가 실행 중이라는 증거는 아닙니다. 작업을 재개할 때는 현재 상태와 산출물을 먼저 확인한 뒤 다음 단계를 결정하세요.