Що таке контекст і чим він відрізняється від квоти облікового запису?
Розрізняйте обсяг матеріалу, який модель опрацьовує за раз, і накопичене використання.
Контекст — матеріал для опрацювання в поточному запиті
Контекст містить поточне запитання, відповідні частини розмови, а також текст файлів і результати інструментів, передані моделі. Його місткість обмежена, тому навіть короткий запит може наблизитися до межі через довгу попередню розмову чи великий вивід.
Токен — одиниця, якою система обчислює довжину тексту; він не дорівнює кількості китайських ієрогліфів. Однакова кількість символів у коді, англійському й китайському тексті може давати різну кількість токенів.
Квота облікового запису — інший тип обмеження
Добова квота запитів або місячний ліміт стосуються використання облікового запису за певний період. Скорочення матеріалу зменшує навантаження на контекст, але не відновлює вичерпану місячну квоту одразу. Очікування відновлення квоти також не скорочує задовгий вхідний текст автоматично.
Наприклад, у короткого уточнювального запитання з великою кількістю старих журналів основний обсяг можуть займати саме журнали. Спочатку залиште записи за потрібний період і позначте пропущені частини. Це допоможе моделі зосередитися на проблемі й полегшить перевірку того, чи враховані необхідні умови.
- Спочатку перевірте, чи помилка вказує на задовгий вміст або недостатню квоту.
- Якщо вміст задовгий, приберіть непов'язані матеріали або розділіть його за запитаннями.
- Якщо недостатньо квоти, перегляньте відповідні підказки облікового запису про відновлення.
Як упорядковувати матеріали
Спочатку опишіть завдання, а потім надайте необхідні для нього уривки. Для довгих журналів спочатку вкажіть часовий проміжок і ключові слова помилок; для коду — відповідні файли й зв'язки викликів. Не вставляйте всю історію повторно «про всяк випадок»: це займає місце для нових питань і ускладнює пошук головного.