Wat is context en hoe verschilt die van accountquota?
Begrijp het verschil tussen de hoeveelheid materiaal die een model tegelijk verwerkt en het opgebouwde verbruik.
Context is het materiaal dat in de huidige ronde wordt verwerkt
Context omvat de huidige vraag, relevante inhoud uit het gesprek en tekst uit bestanden en hulpmiddelresultaten die het model krijgt. De capaciteit is beperkt. Zelfs een korte vraag kan daardoor tegen de limiet aanlopen als het eerdere gesprek lang is of de uitvoer groot.
Een token is de eenheid waarmee het systeem tekstlengte berekent en is niet hetzelfde als het aantal Chinese tekens. Een gelijk aantal tekens in code, Engels en Chinees kan verschillende aantallen tokens opleveren.
Accountquotum is een ander soort limiet
Dagelijkse verzoekquota of maandelijkse gebruikslimieten gaan over het gebruik van het account gedurende een periode. Materiaal inkorten kan de druk op het contextvenster verminderen, maar herstelt een opgebruikt maandquotum niet meteen. Wachten tot je quotum wordt aangevuld maakt een te lange invoer evenmin automatisch korter.
Bij een korte vervolgvraag met veel historische logs kan vooral die logtekst de capaciteit innemen. Bewaar eerst de gegevens uit de relevante periode en geef aan welke andere delen zijn weggelaten. Dat helpt het model zich op het probleem te richten en maakt het voor jou makkelijker te controleren of de analyse de noodzakelijke omstandigheden behandelt.
- Controleer eerst of de foutmelding te lange inhoud of onvoldoende quotum noemt.
- Verwijder bij te lange inhoud ongerelateerd materiaal of splits het per vraag op.
- Bekijk bij onvoldoende quotum de bijbehorende herstelmeldingen van het account.
Hoe orden je het materiaal?
Geef eerst de taakomschrijving en daarna de essentiële fragmenten die nodig zijn om de taak af te ronden. Vermeld bij lange logs eerst de periode en fouttrefwoorden. Geef bij code eerst de relevante bestanden en hoe die elkaar aanroepen. Plak niet steeds voor de zekerheid de volledige geschiedenis: die neemt ruimte voor nieuwe vragen in en maakt belangrijke punten moeilijker te herkennen.