Hackcat

咩係上下文(Context)同埋佢點樣區別於帳戶配額?

了解模型一次處理材料嘅容量同埋累計使用量。

上下文係當前回合要處理嘅材料

上下文包括當前問題、對話中嘅相關內容,以及輸入到模型嘅檔案同埋工具結果嘅文字。佢嘅容量係有限嘅,所以即使係一個簡短嘅問題,由於之前嘅對話好長或者輸出好大,都可能接近容量上限。

Token 係系統計算文字長度嘅單位,唔等於中文字嘅數量。相同數量嘅字符喺代碼、英文同埋中文度,可能有唔同嘅 Token 計數。

帳戶配額係另一種限制

每日請求配額或每月使用量限制,關注帳戶喺一段時間內嘅使用情況。縮短材料有助於減輕上下文壓力,但唔會即時恢復已用盡嘅月度配額;等待配額恢復亦唔會自動縮短過長嘅輸入。

例如,一個簡短嘅後續問題,如果附加咗大量歷史日誌,佢嘅容量可能主要被日誌佔用。首先保留同當前時間段相關嘅記錄,然後指明其他部分已省略,有助於模型專注於問題,亦方便你檢查分析是否涵蓋必要條件。

  1. 首先確認錯誤訊息係顯示內容太長定係配額不足。
  2. 如果內容太長,移除唔相關嘅材料或按問題分段。
  3. 如果配額不足,檢查帳戶對應嘅恢復提示。

點樣整理材料

首先提供任務描述,然後係完成任務所需嘅關鍵片段。對於長日誌,先指定時間範圍同埋錯誤關鍵字;對於代碼,先提供相關檔案同埋調用關係。唔好重複粘貼成個歷史記錄嚟「保險」;呢樣會佔用處理新問題嘅空間,令關鍵點更難識別。