Jak určit, zda byl nástroj skutečně úspěšně proveden?
Současně zkontrolujte stav ukončení, skutečný výstup a vygenerované artefakty.
Nespoléhejte se pouze na jedno shrnutí úspěchu
Shrnutí přirozeného jazyka Agent se musí shodovat s výstupem nástroje. Úspěšné spuštění příkazu, úspěšné ukončení programu a dosažení cíle úlohy jsou tři různé úrovně: program se může ukončit normálně, ale přesto nezpracovat zadaný soubor.
Nejprve ověřte cílové prostředí a vstup, poté zkontrolujte, zda výstup dostatečně podporuje konečný závěr.
Soudit podle viditelných důkazů
Například u úlohy generování zprávy zkontrolujte, zda soubor existuje a zda je obsah úplný; u úlohy kontroly programu se podívejte na skutečné výsledky a použitelné podmínky, nejen na to, zda existují červené chybové zprávy.
Například pokud zpráva uvádí „kontrola prošla“, zeptejte se, které soubory byly kontrolou pokryty, jaké vstupy byly použity a zda byly některé položky vynechány. Správný stav ukončení podporuje úsudek pouze na úrovni provedení; zda byl váš cíl dosažen, stále musí odpovídat kritériím přijatelnosti dohodnutým na začátku.
- Zkontrolujte stav provedení příkazu a klíčové výstupy.
- Potvrďte, že zpracované soubory, verze nebo cíle jsou podle očekávání.
- Prohlédněte vygenerované soubory a požadovaná pole.
- Jasně uveďte všechny nepokryté požadavky na rozsah.
Když je výstup velmi dlouhý nebo relace historie skončila
Nástroj může uchovávat omezený výstup nebo poskytovat místo pro uložení; nepředpokládejte, že náhled konverzace zobrazuje celý protokol. Nechte Agent extrahovat relevantní segmenty a zachovat původní výsledky. „Běží“ v záznamech historického provedení nutně nedokazuje, že proces stále běží v tomto okamžiku; při obnovení úlohy nejprve ověřte aktuální stav a artefakty, než se rozhodnete pro další krok.