Miten määritetään, onko työkalu todella suoritettu onnistuneesti?
Tarkista poistumistila, todellinen tuloste ja luodut artefaktit samanaikaisesti.
Älä luota pelkästään yhteen onnistumisyhteenvedoon
Agent:n luonnollisen kielen yhteenvetojen on vastattava työkalun tulostetta. Komennon käynnistyksen onnistuminen, ohjelman poistumisen onnistuminen ja tehtävän tavoitteen saavuttaminen ovat kolme eri tasoa: ohjelma voi poistua normaalisti, mutta silti olla käsittelemättä määritettyä tiedostoa.
Varmista ensin kohdeympäristö ja syöte, tarkista sitten, tukeeko tuloste riittävästi lopullista päätelmää.
Arvioi näkyvien todisteiden perusteella
Esimerkiksi raportin luontitehtävässä tarkista, että tiedosto on olemassa ja sisältö on täydellinen; ohjelman tarkistustehtävässä katso todellisia tuloksia ja soveltuvia ehtoja, ei vain sitä, onko punaisia virheilmoituksia.
Jos esimerkiksi raportissa lukee "tarkistus läpäisty", kysy, mitkä tiedostot tarkistus kattoi, mitä syötteitä käytettiin ja ohitettiinko jotain. Oikea poistumistila tukee vain arviointia suoritustasolla; onko tavoitteesi saavutettu, on edelleen vastattava alussa sovittuja hyväksymiskriteerejä.
- Tarkista komennon suoritustila ja keskeiset tulosteet.
- Varmista, että käsitellyt tiedostot, versiot tai kohteet ovat odotetun mukaisia.
- Tarkasta luodut tiedostot ja vaaditut kentät.
- Ilmoita selkeästi kaikki kattamattomat laajuusvaatimukset.
Kun tuloste on hyvin pitkä tai historian istunto on päättynyt
Työkalu voi säilyttää rajoitetun tulosteen tai tarjota tallennuspaikan; älä oleta, että keskustelun esikatselu näyttää koko lokin. Pyydä Agent:tä poimimaan asiaankuuluvat segmentit ja säilyttämään alkuperäiset tulokset. "Käynnissä" historiallisissa suoritustiedoissa ei välttämättä todista, että prosessi on edelleen käynnissä tällä hetkellä; kun tehtävää jatketaan, varmista ensin nykyinen tila ja artefaktit ennen seuraavan vaiheen päättämistä.