Hvordan bestemmer man, om et værktøj er blevet udført succesfuldt?
Tjek exit-status, faktiske output og genererede artefakter samtidigt.
Stol ikke udelukkende på en enkelt succes-oversigt
Agent's oversigt i naturligt sprog skal stemme overens med værktøjets output. Kommando-startsucces, program-exit-succes og opnåelse af målet er tre forskellige niveauer: et program kan afslutte normalt, men stadig ikke behandle den angivne fil.
Verificer først målmiljøet og inputtet, og tjek derefter, om outputtet tilstrækkeligt understøtter den endelige konklusion.
Bedøm ud fra synlige beviser
For eksempel, i en rapportgenereringsopgave, tjek at filen eksisterer, og at indholdet er komplet; for en programtjekopgave, se på de faktiske resultater og relevante betingelser, ikke kun om der er røde fejlmeddelelser.
For eksempel, hvis rapporten siger "tjek bestået", spørg hvilke filer der blev dækket af tjekket, hvilke input der blev brugt, og om nogen elementer blev sprunget over. Korrekt exit-status understøtter kun bedømmelse på eksekveringsniveau; om dit mål blev opnået, skal stadig stemme overens med de acceptkriterier, der blev aftalt i starten.
- Tjek kommandoens eksekveringsstatus og nøgleoutput.
- Bekræft, at de behandlede filer, versioner eller mål er som forventet.
- Inspicer de genererede filer og påkrævede felter.
- Angiv tydeligt eventuelle uafdækkede omfangskrav.
Når output er meget langt, eller historiksessionen er afsluttet
Værktøjet kan gemme begrænset output eller angive en gemmeplacering; antag ikke, at samtale-previewet viser hele loggen. Få Agent til at uddrage relevante segmenter og bevare de originale resultater. "Kører" i historiske eksekveringsregistreringer beviser ikke nødvendigvis, at processen stadig kører i dette øjeblik; når du genoptager en opgave, skal du først verificere den aktuelle status og artefakter, før du beslutter næste skridt.