Hogyan állapítható meg, hogy egy eszköz valóban sikeresen végrehajtódott-e?
Ellenőrizze a kilépési állapotot, a tényleges kimenetet és a generált elemeket egyidejűleg.
Ne hagyatkozzon kizárólag egyetlen sikeres összefoglalóra
A Agent természetes nyelvi összefoglalójának meg kell felelnie az eszköz kimenetének. A parancs indításának sikere, a program kilépésének sikere és a feladat céljának elérése három különböző szint: egy program normálisan kiléphet, de mégsem dolgozhatja fel a megadott fájlt.
Először ellenőrizze a célkörnyezetet és a bemenetet, majd ellenőrizze, hogy a kimenet elegendő-e a végső következtetés alátámasztásához.
Ítélkezzen látható bizonyítékok alapján
Például egy jelentésgenerálási feladatban ellenőrizze, hogy a fájl létezik-e és a tartalom teljes-e; egy programellenőrzési feladatban nézze meg a tényleges eredményeket és az alkalmazható feltételeket, nem csak azt, hogy vannak-e piros hibaüzenetek.
Például, ha a jelentés azt állítja, hogy "az ellenőrzés sikeres volt", kérdezze meg, hogy mely fájlokat fedett le az ellenőrzés, milyen bemeneteket használtak, és kihagytak-e elemeket. A helyes kilépési állapot csak a végrehajtási szinten támogatja az ítélkezést; hogy a célját elérte-e, még mindig meg kell felelnie a kezdetben megbeszélt elfogadási kritériumoknak.
- Ellenőrizze a parancs végrehajtási állapotát és a kulcsfontosságú kimeneteket.
- Erősítse meg, hogy a feldolgozott fájlok, verziók vagy célok a vártnak megfelelőek.
- Vizsgálja meg a generált fájlokat és a szükséges mezőket.
- Világosan jelölje meg az összes felderítetlen hatókör követelményt.
Ha a kimenet nagyon hosszú, vagy a történeti munkamenet véget ért
Az eszköz korlátozott kimenetet tarthat meg, vagy megadhat egy mentési helyet; ne feltételezze, hogy a beszélgetés előnézete mutatja a teljes naplót. Kérje meg a Agent-t, hogy vonja ki a releváns szegmenseket, és őrizze meg az eredeti eredményeket. A "fut" a történelmi végrehajtási rekordokban nem feltétlenül bizonyítja, hogy a folyamat jelenleg is fut; amikor folytat egy feladatot, először ellenőrizze az aktuális állapotot és az elemeket, mielőtt eldöntené a következő lépést.