什麼是上下文(Context)以及它與帳戶配額有何不同?
了解模型一次處理材料的能力與累計使用量的區別。
上下文是當前回合要處理的材料
上下文包括當前問題、對話中的相關內容,以及輸入到模型中的文件文本和工具結果。其容量有限,因此即使是簡短的問題,由於先前對話較長或輸出較大,也可能接近上限。
令牌是系統計算文本長度的單位,不等於中文字符數。相同數量的代碼、英文和中文字符可能有不同的令牌計數。
帳戶配額是另一種限制
每日請求配額或每月使用量限制側重於帳戶在一段時間內的用量。縮短材料有助於減輕上下文壓力,但不會立即恢復已用完的月度配額;等待配額恢復也不會自動縮短過長的輸入。
例如,一個簡短的後續問題加上大量的歷史日誌,其容量可能主要被日誌佔據。首先保留與當前時間段相關的記錄,然後指示省略其他部分,這有助於模型專注於問題,也方便您檢查分析是否涵蓋了必要條件。
- 首先確認錯誤訊息是提示內容過長還是配額不足。
- 如果內容過長,請刪除不相關的材料或按問題分段。
- 如果配額不足,請檢查帳戶相應的恢復提示。
如何整理材料
先提供任務描述,然後是完成任務所需的關鍵片段。對於長日誌,先指定時間範圍和錯誤關鍵字;對於代碼,先提供相關文件和調用關係。不要為了「保險」而重複粘貼整個歷史記錄;這會佔用處理新問題的空間,並使關鍵點更難識別。