Что такое контекст и чем он отличается от квоты аккаунта?
Разберитесь в различиях между объёмом материала для одного обращения к модели и накопленным расходом.
Контекст — материал для обработки в текущем раунде
Контекст включает текущий вопрос, относящиеся к нему части разговора, а также текст файлов и результаты инструментов, переданные модели. Его объём ограничен, поэтому даже короткий вопрос может приблизиться к пределу из-за длинного предшествующего разговора или большого вывода.
Токен — единица измерения длины текста в системе, она не равна числу китайских иероглифов. Одинаковое число символов в коде, английском и китайском тексте может давать разное количество токенов.
Квота аккаунта — другой вид ограничения
Суточные квоты запросов и месячные лимиты относятся к использованию аккаунта за период. Сокращение материалов уменьшает нагрузку на контекст, но не восстанавливает сразу израсходованную месячную квоту; ожидание восстановления квоты тоже не сокращает чрезмерно длинный ввод автоматически.
Например, в коротком уточняющем вопросе с большим объёмом старых журналов основное место могут занимать именно журналы. Сначала оставьте записи за относящийся к вопросу период и обозначьте пропуск остального: это поможет модели сосредоточиться на проблеме, а вам — проверить, охвачены ли нужные условия.
- Сначала выясните, сообщает ли ошибка о слишком длинном содержимом или недостаточной квоте.
- При слишком длинном содержимом удалите лишнее или разделите материал по вопросам.
- При недостаточной квоте проверьте соответствующие подсказки аккаунта о восстановлении.
Как организовать материалы
Сначала опишите задачу, затем предоставьте необходимые для неё фрагменты. Для длинных журналов укажите временной диапазон и ключевые слова ошибок; для кода сначала дайте связанные файлы и связи вызовов. Не вставляйте всю историю повторно «на всякий случай»: это занимает место для новых вопросов и затрудняет выделение главного.