Bir Aracın Gerçekten Başarıyla Çalıştığını Nasıl Anlarım?
Çıkış durumunu, gerçek çıktıyı ve üretilen dosyaları birlikte kontrol edin.
Tek Başarı Özetine Güvenmeyin
Agent'ın doğal dil özeti araç çıktısıyla eşleşmelidir. Komutun başlaması, programın başarıyla çıkması ve görev hedefinin gerçekleşmesi üç ayrı düzeydir: program normal çıkabilir ama belirtilen dosyayı işlememiş olabilir.
Önce hedef ortamı ve girdiyi doğrulayın, sonra çıktının nihai sonucu yeterince desteklediğini kontrol edin.
Görünür Kanıtla Değerlendirin
Örneğin rapor üretiminde dosyanın varlığını ve içeriğin tamlığını; program kontrolünde yalnızca kırmızı hata mesajı olup olmadığını değil gerçek sonuçları ve geçerli koşulları kontrol edin.
Rapor “kontrol geçti” diyorsa hangi dosyaların kapsandığını, hangi girdinin kullanıldığını ve atlanan maddeleri sorun. Doğru çıkış durumu yalnızca yürütme düzeyindeki değerlendirmeyi destekler; hedefe ulaşma başlangıçta kararlaştırılan kabul ölçütleriyle ayrıca eşleşmelidir.
- Komutun yürütme durumunu ve temel çıktılarını kontrol edin.
- İşlenen dosyaların, sürümlerin veya hedeflerin beklendiği gibi olduğunu doğrulayın.
- Üretilen dosyaları ve gerekli alanları inceleyin.
- Kapsanmayan kapsam gereksinimlerini açıkça belirtin.
Çıktı Çok Uzunsa veya Geçmiş Oturum Bitmişse
Araç sınırlı çıktı saklayabilir veya kayıt konumu verebilir; konuşma önizlemesinin tüm günlüğü gösterdiğini varsaymayın. Agent'a ilgili bölümleri çıkarttırıp özgün sonuçları koruyun. Geçmiş yürütme kaydındaki “Çalışıyor” şu anda sürecin hâlâ sürdüğünü kanıtlamayabilir; göreve dönerken sonraki adımı belirlemeden önce mevcut durumu ve çıktıları doğrulayın.