Comment déterminer si un outil s'est réellement exécuté avec succès ?
Vérifiez simultanément le code de sortie, la sortie réelle et les artefacts générés.
Ne vous fiez pas uniquement à un seul résumé de succès
Le résumé en langage naturel du Agent doit correspondre à la sortie de l'outil. Le succès du démarrage de la commande, le succès de la sortie du programme et l'atteinte de l'objectif de la tâche sont trois niveaux différents : un programme peut se terminer normalement mais ne pas traiter le fichier spécifié.
Vérifiez d'abord l'environnement cible et l'entrée, puis vérifiez si la sortie soutient suffisamment la conclusion finale.
Jugez par des preuves visibles
Par exemple, dans une tâche de génération de rapports, vérifiez que le fichier existe et que le contenu est complet ; pour une tâche de vérification de programme, examinez les résultats réels et les conditions applicables, pas seulement s'il y a des messages d'erreur rouges.
Par exemple, si le rapport indique "vérification réussie", demandez quels fichiers ont été couverts par la vérification, quelles entrées ont été utilisées et si des éléments ont été ignorés. Un code de sortie correct ne soutient que le jugement au niveau de l'exécution ; la réalisation de votre objectif doit toujours correspondre aux critères d'acceptation convenus au départ.
- Vérifiez le statut d'exécution de la commande et les sorties clés.
- Confirmez que les fichiers traités, les versions ou les cibles sont conformes aux attentes.
- Inspectez les fichiers générés et les champs requis.
- Énoncez clairement toutes les exigences de portée non couvertes.
Lorsque la sortie est très longue ou que la session d'historique est terminée
L'outil peut conserver une sortie limitée ou fournir un emplacement d'enregistrement ; ne supposez pas que l'aperçu de la conversation montre l'intégralité du journal. Demandez au Agent d'extraire les segments pertinents et de préserver les résultats d'origine. "En cours d'exécution" dans les enregistrements d'exécution historiques ne prouve pas nécessairement que le processus est toujours en cours d'exécution à l'heure actuelle ; lors de la reprise d'une tâche, vérifiez d'abord le statut et les artefacts actuels avant de décider de la prochaine étape.