บริบทคืออะไรและต่างจากโควตาบัญชีอย่างไร?
เข้าใจความจุข้อมูลที่โมเดลประมวลผลต่อรอบเทียบกับการใช้งานสะสม
บริบทคือข้อมูลที่ต้องประมวลผลในรอบปัจจุบัน
บริบทรวมคำถามปัจจุบัน เนื้อหาที่เกี่ยวข้องจากบทสนทนา และข้อความจากไฟล์กับผลเครื่องมือที่ส่งเข้าโมเดล ความจุมีจำกัด ดังนั้นแม้คำถามสั้นก็อาจใกล้ขีดจำกัดเพราะบทสนทนาก่อนหน้ายาวหรือมีผลลัพธ์ขนาดใหญ่
โทเคนเป็นหน่วยที่ระบบใช้คำนวณความยาวข้อความ ไม่เท่ากับจำนวนอักษรจีน จำนวนตัวอักษรเท่ากันในโค้ด ภาษาอังกฤษ และภาษาจีนอาจใช้จำนวนโทเคนต่างกัน
โควตาบัญชีเป็นขีดจำกัดอีกชนิด
โควตาคำขอรายวันหรือขีดจำกัดการใช้งานรายเดือนนับการใช้งานของบัญชีในช่วงเวลาหนึ่ง การย่อข้อมูลช่วยลดภาระบริบท แต่ไม่ได้คืนโควตารายเดือนที่หมดทันที การรอให้โควตากลับมาก็ไม่ได้ย่อข้อมูลนำเข้าที่ยาวเกินโดยอัตโนมัติ
เช่น คำถามต่อเนื่องสั้น ๆ ที่แนบบันทึกเก่าจำนวนมากอาจใช้ความจุส่วนใหญ่ไปกับบันทึก ให้คงเฉพาะบันทึกในช่วงเวลาที่เกี่ยวข้องก่อน แล้วระบุว่าส่วนอื่นละไว้ จะช่วยให้โมเดลมุ่งที่ปัญหาและทำให้คุณตรวจง่ายขึ้นว่าการวิเคราะห์ครอบคลุมเงื่อนไขจำเป็นหรือไม่
- ตรวจข้อความข้อผิดพลาดก่อนว่าระบุว่าเนื้อหายาวเกินหรือโควตาไม่พอ
- หากเนื้อหายาวเกิน ให้ตัดข้อมูลที่ไม่เกี่ยวข้องหรือแบ่งตามคำถาม
- หากโควตาไม่พอ ให้ดูข้อความแจ้งเวลาที่กลับมาใช้ได้ของบัญชี
วิธีจัดข้อมูล
ให้คำอธิบายงานก่อน ตามด้วยส่วนข้อมูลจำเป็นต่อการทำงาน สำหรับบันทึกยาว ให้ระบุช่วงเวลาและคำสำคัญของข้อผิดพลาดก่อน สำหรับโค้ดให้ส่งไฟล์ที่เกี่ยวข้องและความสัมพันธ์การเรียกใช้ก่อน อย่าวางประวัติทั้งหมดซ้ำเพื่อ ‘กันพลาด’ เพราะจะกินพื้นที่สำหรับประมวลผลปัญหาใหม่และทำให้หาประเด็นสำคัญยากขึ้น