Ce este contextul și cum diferă de cotele contului?
Înțelege capacitatea modelului de a procesa material dintr-o dată, comparativ cu utilizarea cumulată.
Contextul este materialul procesat în runda curentă
Contextul include întrebarea curentă, conținutul relevant al conversației și textele din fișiere și rezultate ale instrumentelor introduse în model. Capacitatea lui este limitată. Chiar și o întrebare scurtă poate apropia limita dacă discuția anterioară este lungă sau rezultatele sunt voluminoase.
Tokenul este unitatea sistemului pentru măsurarea lungimii textului și nu este egal cu numărul caracterelor chinezești. Același număr de caractere în cod, engleză și chineză poate produce un număr diferit de tokenuri.
Cota contului este alt tip de limită
Cotele zilnice de cereri sau limitele lunare privesc utilizarea contului într-o perioadă. Scurtarea materialului reduce presiunea asupra contextului, dar nu reface imediat cota lunară epuizată. Nici așteptarea refacerii cotei nu scurtează automat o intrare prea lungă.
De exemplu, o întrebare suplimentară scurtă însoțită de multe jurnale istorice poate avea capacitatea ocupată mai ales de jurnale. Păstrarea întâi a înregistrărilor din intervalul relevant și marcarea omisiunilor ajută modelul să se concentreze și îți permite să verifici mai ușor dacă analiza acoperă condițiile necesare.
- Confirmă întâi dacă eroarea indică text prea lung sau cotă insuficientă.
- Pentru text prea lung, elimină materialele nerelevante sau împarte după întrebare.
- Pentru cotă insuficientă, verifică mesajele corespunzătoare despre refacerea ei.
Cum organizezi materialele
Oferă întâi descrierea sarcinii, apoi fragmentele esențiale pentru finalizare. Pentru jurnale lungi precizează intervalul și termenii erorii; pentru cod oferă întâi fișierele relevante și relațiile de apelare. Nu lipi repetat întregul istoric „ca măsură de siguranță”: ocupă spațiul pentru probleme noi și ascunde punctele importante.