什么是上下文,和账户额度有什么区别?
理解模型一次处理材料的容量与累计用量。
上下文是本轮需要处理的材料
上下文包括当前问题、对话中的相关内容,以及进入模型的文件文字和工具结果。它的容量有限,因此问题很短,也可能因为前面的长对话或大量输出而接近限制。
Token 是系统计算文本长度的单位,不等于中文字符数。相同字数的代码、英文和中文可能有不同的计算长度。
账户额度是另一种限制
每日请求额度或月度用量限制,关注的是账户在一段时间内的使用情况。缩短材料可以帮助降低上下文压力,却不会立刻恢复已经用完的月度额度;等待额度恢复,也不会让一份超长输入自动变短。
例如一段简短追问后面附上大量历史日志,容量主要可能被日志占用。先保留与当前时间段相关的记录,再说明其他部分已省略,可以帮助模型集中处理问题,也便于你检查分析是否覆盖必要条件。
- 先确认报错写的是内容过长还是额度不足。
- 内容过长时删去无关材料或按问题分段。
- 额度不足时查看账户相应恢复提示。
怎样组织材料
先给任务说明,再给完成任务必须的片段。长日志可先说明时间范围和错误关键词,代码可先给相关文件与调用关系。不要为了“保险”把整个历史反复粘贴;这会挤占处理新问题的空间,反而让重点更难辨认。