Ako určiť, či nástroj naozaj úspešne vykonal úlohu?
Súčasne overte stav ukončenia, skutočný výstup a vytvorené súbory.
Nespoliehajte sa len na jediný súhrn úspechu
Prirodzený jazyk súhrnu Agent musí zodpovedať výstupu nástroja. Úspešné spustenie príkazu, úspešné ukončenie programu a dosiahnutie cieľa úlohy sú tri rôzne úrovne: program môže skončiť normálne a pritom nespracovať určený súbor.
Najprv overte cieľové prostredie a vstup, potom dostatočnú podporu konečného záveru výstupom.
Posudzujte podľa viditeľných dôkazov
Pri tvorbe správy napríklad overte existenciu súboru a úplnosť obsahu; pri kontrole programu sledujte skutočné výsledky a podmienky platnosti, nielen červené chyby.
Ak napríklad správa uvádza „kontrola prešla“, pýtajte sa na pokryté súbory, použité vstupy a preskočené položky. Správny stav ukončenia podporuje len posúdenie vykonania; dosiahnutie vášho cieľa musí stále zodpovedať pôvodne dohodnutým kritériám.
- Overte stav vykonania príkazu a kľúčové výstupy.
- Potvrďte očakávané spracované súbory, verzie alebo ciele.
- Skontrolujte vytvorené súbory a požadované polia.
- Jasne uveďte nepokryté požiadavky rozsahu.
Keď je výstup veľmi dlhý alebo stará relácia skončila
Nástroj môže uchovať obmedzený výstup alebo ponúknuť miesto uloženia; nepredpokladajte celý záznam v náhľade rozhovoru. Nech Agent vyberie relevantné úseky a zachová pôvodné výsledky. „Beží“ v historických záznamoch nemusí dokazovať beh práve teraz; pri návrate najprv overte aktuálny stav a výstupy a potom rozhodnite o ďalšom kroku.