Какво е контекст и как се различава от квотите по сметки?
Разбиране на капацитета на модела да обработва материал наведнъж спрямо кумулативното използване.
Контекстът е материалът, който трябва да бъде обработен в текущия кръг
Контекстът включва текущия въпрос, релевантно съдържание от разговора, както и текст от файлове и резултати от инструменти, въведени в модела. Неговият капацитет е ограничен, така че дори кратък въпрос може да се доближи до лимита поради дълъг предходен разговор или голям изход.
Токенът е единицата на системата за изчисляване на дължината на текста и не е равен на броя китайски йероглифи. Еднакъв брой символи в код, английски и китайски може да има различни бройки токени.
Квотата по сметката е различен вид ограничение
Дневните квоти за заявки или месечните лимити за използване се фокусират върху използването на сметката за определен период от време. Съкращаването на материала може да помогне за намаляване на натиска върху контекста, но няма незабавно да възстанови изчерпана месечна квота; изчакването за възстановяване на квотата също няма автоматично да съкрати прекалено дълъг вход.
Например, кратък последващ въпрос, добавен с голямо количество исторически записи, може да има капацитета си основно зает от записите. Запазването първо на записи, свързани с текущия период от време, след това посочването, че други части са пропуснати, може да помогне на модела да се фокусира върху проблема и също така да улесни проверката дали анализът обхваща необходимите условия.
- Първо потвърдете дали съобщението за грешка посочва, че съдържанието е твърде дълго или квотата е недостатъчна.
- Ако съдържанието е твърде дълго, премахнете нерелевантния материал или сегментирайте по въпрос.
- Ако квотата е недостатъчна, проверете съответните подкани за възстановяване на сметката.
Как да организирате материалите
Първо предоставете описанието на задачата, след това основните фрагменти, необходими за изпълнението й. За дълги записи, първо посочете времевия диапазон и ключовите думи за грешки; за код, първо предоставете свързаните файлове и връзките на извикванията. Не поставяйте многократно цялата история за „застраховка“; това ще заеме място за обработка на нови проблеми и ще затрудни идентифицирането на ключовите точки.