Jak ustalić, czy narzędzie rzeczywiście wykonało się pomyślnie?
Sprawdzaj równocześnie stan zakończenia, rzeczywisty wynik i utworzone rezultaty.
Nie polegaj na samym podsumowaniu sukcesu
Podsumowanie Agent w języku naturalnym musi odpowiadać wynikowi narzędzia. Udane rozpoczęcie polecenia, prawidłowe zakończenie programu i osiągnięcie celu to trzy różne poziomy: program może wyjść normalnie, a mimo to nie przetworzyć wskazanego pliku.
Najpierw zweryfikuj środowisko docelowe i dane wejściowe, a potem sprawdź, czy wynik wystarczająco uzasadnia końcowy wniosek.
Oceniaj według widocznych dowodów
Na przykład przy generowaniu raportu sprawdź istnienie i pełną treść pliku; przy kontroli programu sprawdź rzeczywiste wyniki i warunki zastosowania, a nie tylko brak czerwonych błędów.
Jeśli raport mówi „kontrola zakończona pomyślnie”, zapytaj, jakie pliki objęto, jakich danych użyto i czy coś pominięto. Prawidłowy kod zakończenia uzasadnia jedynie ocenę wykonania; osiągnięcie Twojego celu nadal musi odpowiadać kryteriom przyjętym na początku.
- Sprawdź stan wykonania polecenia i najważniejsze wyniki.
- Potwierdź oczekiwane pliki, wersje lub cele poddane przetwarzaniu.
- Obejrzyj utworzone pliki i wymagane pola.
- Wyraźnie wskaż wymagany zakres, którego nie objęto.
Gdy wynik jest bardzo długi lub historyczna sesja się zakończyła
Narzędzie może zachować ograniczony wynik lub podać miejsce zapisu; nie zakładaj, że podgląd rozmowy pokazuje cały log. Poproś Agent o wydobycie odpowiednich fragmentów i zachowanie oryginałów. „W trakcie” w historycznym zapisie nie musi dowodzić działania procesu teraz; przy wznawianiu najpierw sprawdź bieżący stan i rezultaty, a potem wybierz dalszy krok.