Hackcat

Как определить, действительно ли инструмент выполнился успешно?

Проверяйте вместе статус завершения, фактический вывод и созданные результаты.

Не полагайтесь только на краткое сообщение об успехе

Текстовая сводка Agent должна соответствовать выводу инструмента. Успешный запуск команды, успешное завершение программы и достижение цели задачи — три разных уровня: программа может завершиться нормально, но не обработать указанный файл.

Сначала проверьте целевую среду и входные данные, затем убедитесь, что вывод достаточно обосновывает итоговое заключение.

Оценивайте по наблюдаемым доказательствам

Например, при создании отчёта проверьте, что файл существует и содержимое полное; при проверке программы смотрите на фактические результаты и условия их применимости, а не только на отсутствие красных сообщений об ошибках.

Например, если отчёт сообщает «проверка пройдена», уточните, какие файлы охвачены, какие данные использовались и не пропущены ли отдельные пункты. Правильный статус завершения подтверждает лишь уровень выполнения; достижение вашей цели всё равно нужно сверить с критериями приёмки, согласованными в начале.

  1. Проверьте статус выполнения команды и ключевой вывод.
  2. Убедитесь, что обработанные файлы, версии или цели соответствуют ожидаемым.
  3. Проверьте созданные файлы и обязательные поля.
  4. Явно укажите требования к охвату, которые остались невыполненными.

Если вывод очень длинный или прежний сеанс завершён

Инструмент может сохранять ограниченный вывод или указывать место сохранения; не считайте, что предпросмотр в разговоре показывает журнал целиком. Попросите Agent извлечь нужные фрагменты и сохранить исходные результаты. Статус «выполняется» в истории не обязательно доказывает, что процесс работает сейчас; возобновляя задачу, сначала проверьте текущее состояние и файлы, затем выбирайте следующий шаг.