Как да определим дали един инструмент е изпълнен успешно?
Проверете едновременно статус на изход, действителен изход и генерирани артефакти.
Не разчитайте само на едно обобщение за успех
Обобщението на естествен език на Agent трябва да съответства на изхода на инструмента. Успехът при стартиране на команда, успех при изход на програма и постигане на целта на задачата са три различни нива: програмата може да излезе нормално, но все пак да не обработи посочения файл.
Първо проверете целевата среда и входа, след това проверете дали изходът достатъчно подкрепя окончателното заключение.
Съдете по видими доказателства
Например, при задача за генериране на отчет, проверете дали файлът съществува и съдържанието е пълно; при задача за проверка на програма, разгледайте действителните резултати и приложимите условия, а не само дали има червени съобщения за грешки.
Например, ако в отчета се казва „проверката е успешна“, попитайте кои файлове са обхванати от проверката, какви входове са използвани и дали някои елементи са пропуснати. Правилният статус на изход подкрепя само преценка на ниво изпълнение; дали целта ви е постигната, все още трябва да съответства на критериите за приемане, договорени в началото.
- Проверете статуса на изпълнение на командата и ключовите изходи.
- Потвърдете, че обработените файлове, версии или цели са както се очаква.
- Инспектирайте генерираните файлове и необходимите полета.
- Ясно заявете всички неудовлетворени изисквания за обхват.
Когато изходът е много дълъг или сесията в историята е приключила
Инструментът може да запазва ограничен изход или да предоставя място за запис; не предполагайте, че прегледът на разговора показва целия дневник. Накарайте Agent да извлече съответните сегменти и да запази оригиналните резултати. „Изпълнява се“ в исторически записи за изпълнение не означава непременно, че процесът все още се изпълнява в този момент; при възобновяване на задача, първо проверете текущия статус и артефакти, преди да решите следващата стъпка.