Hackcat

จะรู้ได้อย่างไรว่าเครื่องมือทำงานสำเร็จจริง?

ตรวจสถานะจบ ผลจริง และผลงานที่สร้างควบคู่กัน

อย่าอาศัยเพียงสรุปว่าสำเร็จครั้งเดียว

สรุปภาษาธรรมชาติของ Agent ต้องตรงกับผลเครื่องมือ เริ่มคำสั่งสำเร็จ โปรแกรมจบสำเร็จ และบรรลุเป้าหมายงานเป็นสามระดับที่ต่างกัน โปรแกรมอาจจบปกติแต่ไม่ได้ประมวลผลไฟล์ที่ระบุ

ตรวจสภาพแวดล้อมเป้าหมายและข้อมูลนำเข้าก่อน แล้วดูว่าผลรองรับข้อสรุปสุดท้ายเพียงพอหรือไม่

ตัดสินจากหลักฐานที่เห็นได้

เช่น งานสร้างรายงานให้ตรวจว่ามีไฟล์และเนื้อหาครบ งานตรวจโปรแกรมให้ดูผลจริงและเงื่อนไขที่ใช้ได้ ไม่ใช่ดูเพียงว่ามีข้อความผิดพลาดสีแดงหรือไม่

เช่น หากรายงานบอกว่า ‘ตรวจผ่าน’ ให้ถามว่าครอบคลุมไฟล์ใด ใช้ข้อมูลนำเข้าอะไร และมีรายการที่ข้ามหรือไม่ สถานะจบถูกต้องรองรับเพียงการประเมินระดับการรัน การบรรลุเป้าหมายยังต้องเทียบกับเกณฑ์รับงานที่ตกลงตอนเริ่ม

  1. ตรวจสถานะรันคำสั่งและผลสำคัญ
  2. ยืนยันว่าไฟล์ เวอร์ชัน หรือเป้าหมายที่ประมวลผลตรงตามคาด
  3. ตรวจไฟล์ที่สร้างและช่องข้อมูลที่จำเป็น
  4. ระบุขอบเขตที่ต้องการแต่ยังไม่ครอบคลุมให้ชัด

เมื่อผลยาวมากหรือเซสชันเก่าจบแล้ว

เครื่องมืออาจเก็บผลได้จำกัดหรือให้ตำแหน่งบันทึก อย่าถือว่าตัวอย่างในบทสนทนาแสดงบันทึกทั้งหมด ให้ Agent ดึงส่วนที่เกี่ยวข้องและเก็บผลต้นฉบับ ‘กำลังทำงาน’ ในประวัติการรันไม่ได้พิสูจน์ว่ากระบวนการยังทำงานขณะนี้ เมื่อกลับมาทำงานต่อให้ตรวจสถานะปัจจุบันและผลงานก่อนตัดสินใจขั้นถัดไป