Hackcat

Як визначити, чи інструмент справді виконався успішно?

Одночасно перевіряйте стан завершення, фактичний вивід і створені результати.

Не покладайтеся лише на один підсумок про успіх

Підсумок Agent природною мовою має відповідати результатам інструмента. Успішний запуск команди, успішний вихід програми й досягнення мети завдання — три різні рівні: програма може завершитися нормально, але не опрацювати вказаний файл.

Спочатку перевірте цільове середовище та вхідні дані, потім — чи достатньо результату для остаточного висновку.

Оцінюйте видимі докази

Наприклад, для створення звіту перевірте існування файлу й повноту вмісту; для перевірки програми дивіться на фактичні результати та умови застосування, а не лише на відсутність червоних помилок.

Якщо звіт каже «перевірку пройдено», запитайте, які файли охоплено, які дані використано й чи були пропущені пункти. Правильний стан завершення підтверджує лише рівень виконання; досягнення вашої мети має відповідати погодженим на початку критеріям приймання.

  1. Перевірте стан виконання команди й ключовий вивід.
  2. Переконайтеся, що опрацьовані файли, версії або цілі відповідають очікуваним.
  3. Перегляньте створені файли й обов'язкові поля.
  4. Явно зазначте вимоги до охоплення, які залишилися невиконаними.

Якщо вивід дуже довгий або історичний сеанс завершено

Інструмент може зберігати обмежений вивід або надавати місце збереження; попередній перегляд розмови не обов'язково показує весь журнал. Попросіть Agent виділити доречні уривки й зберегти оригінальні результати. Історичний напис «Виконується» не доводить, що процес активний зараз. Відновлюючи завдання, спочатку перевірте поточний стан і результати, потім визначайте наступний крок.