Як вызначыць, ці быў інструмент сапраўды выкананы паспяхова?
Адначасова праверце статус выхаду, фактычны вывад і створаныя артэфакты.
Не спадзявайцеся толькі на адзін зводны справаздачу аб поспеху
Зводка Agent на натуральнай мове павінна адпавядаць вываду інструмента. Поспех запуску каманды, поспех выхаду праграмы і дасягненне мэты задачы - гэта тры розныя ўзроўні: праграма можа нармальна завяршыцца, але так і не апрацаваць указаны файл.
Спачатку праверце мэтавую асяроддзе і ўвод, затым праверце, ці дастаткова вывад падтрымлівае канчатковы выснову.
Ацэньвайце па бачных доказах
Напрыклад, у задачы генерацыі справаздачы праверце, што файл існуе і змест поўны; для задачы праверкі праграмы паглядзіце на фактычныя вынікі і прыдатныя ўмовы, а не толькі на тое, ці ёсць чырвоныя паведамленні пра памылкі.
Напрыклад, калі ў справаздачы сказана "праверка пройдзена", спытайце, якія файлы былі ахоплены праверкай, якія ўводы былі выкарыстаны і ці былі прапушчаны якія-небудзь пункты. Правільны статус выхаду толькі падтрымлівае ацэнку на ўзроўні выканання; ці была дасягнута ваша мэта, усё яшчэ павінна адпавядаць крытэрам прыняцця, узгодненым на пачатку.
- Праверце статус выканання каманды і ключавыя вывады.
- Пацвердзіце, што апрацаваныя файлы, версіі або мэты адпавядаюць чаканням.
- Праглядзіце створаныя файлы і неабходныя палі.
- Выразна сфармулюйце любыя патрабаванні да ахопу, якія не былі выкананы.
Калі вывад вельмі доўгі або сесія гісторыі скончана
Інструмент можа захоўваць абмежаваны вывад або прадастаўляць месца для захавання; не мяркуйце, што папярэдні прагляд размовы паказвае ўвесь часопіс. Няхай Agent вынясе адпаведныя сегменты і захавае арыгінальныя вынікі. "Працуе" ў гістарычных запісах выканання не абавязкова даказвае, што працэс усё яшчэ працуе ў гэты момант; пры аднаўленні задачы спачатку праверце бягучы статус і артэфакты, перш чым вырашаць наступны крок.