Hackcat

Hur avgör du om ett verktyg verkligen lyckades?

Kontrollera avslutsstatus, faktisk utdata och skapade resultat tillsammans.

Lita inte enbart på en sammanfattning som säger att det lyckades

Agent-sammanfattningen ska stämma med verktygets utdata. Att ett kommando startade, att programmet avslutades utan fel och att uppgiftens mål nåddes är tre olika saker. Ett program kan avslutas normalt utan att ha behandlat den angivna filen.

Verifiera först målmiljö och indata och kontrollera sedan om utdata räcker som stöd för slutsatsen.

Bedöm utifrån synliga belägg

Vid rapportgenerering kontrollerar du till exempel att filen finns och är fullständig. Vid programkontroll granskar du de faktiska resultaten och deras villkor, inte bara om röda felmeddelanden visas.

Om rapporten säger ”kontrollen godkänd” frågar du vilka filer som täcktes, vilka indata som användes och om något hoppades över. Rätt avslutsstatus stöder bara bedömningen av själva körningen. Om ditt mål nåddes måste fortfarande kontrolleras mot kriterierna från början.

  1. Kontrollera kommandots körstatus och viktigaste utdata.
  2. Kontrollera att behandlade filer, versioner och mål är de förväntade.
  3. Granska skapade filer och obligatoriska fält.
  4. Ange tydligt vilka delar av den önskade omfattningen som inte täcktes.

När utdata är långa eller den gamla sessionen har avslutats

Verktyget kan behålla begränsad utdata eller ange en sparplats. Anta inte att samtalets förhandsvisning visar hela loggen. Be Agent extrahera relevanta delar och bevara originalresultaten. ”Körs” i gammal körhistorik bevisar inte att processen körs just nu. Kontrollera aktuell status och arbetsresultat innan du väljer nästa steg när en uppgift återupptas.