Hvad er kontekst, og hvordan adskiller det sig fra konto-kvoter?
Forstå modellens kapacitet til at behandle materiale ad gangen versus kumulativ brug.
Kontekst er materialet, der skal behandles i den aktuelle runde
Kontekst inkluderer det aktuelle spørgsmål, relevant indhold fra samtalen samt tekst fra filer og værktøjsresultater, der er inputtet i modellen. Dens kapacitet er begrænset, så selv et kort spørgsmål kan nærme sig grænsen på grund af en lang tidligere samtale eller et stort output.
Et token er systemets enhed til at beregne tekstlængde og svarer ikke til antallet af kinesiske tegn. Det samme antal tegn i kode, engelsk og kinesisk kan have forskellige token-antal.
Konto-kvote er en anden type begrænsning
Daglige anmodningskvoter eller månedlige brugsgrænser fokuserer på kontoens brug over en tidsperiode. Forkortelse af materialet kan hjælpe med at reducere konteksttrykket, men vil ikke øjeblikkeligt gendanne en opbrugt månedlig kvote; at vente på kvotegendannelse vil heller ikke automatisk forkorte et overdrevent langt input.
For eksempel kan et kort opfølgende spørgsmål, der er tilføjet med en stor mængde historiske logfiler, have sin kapacitet primært optaget af logfilerne. At bevare poster, der er relevante for den aktuelle tidsperiode først, og derefter angive, at andre dele er udeladt, kan hjælpe modellen med at fokusere på problemet og også gøre det lettere for dig at kontrollere, om analysen dækker nødvendige betingelser.
- Bekræft først, om fejlmeddelelsen angiver, at indholdet er for langt, eller at kvoten er utilstrækkelig.
- Hvis indholdet er for langt, skal du fjerne irrelevant materiale eller segmentere efter spørgsmål.
- Hvis kvoten er utilstrækkelig, skal du kontrollere kontoens tilsvarende gendannelsesprompter.
Sådan organiseres materialer
Angiv først opgavebeskrivelsen, derefter de væsentlige fragmenter, der er nødvendige for at fuldføre opgaven. For lange logfiler skal du først angive tidsintervallet og fejlnøgleord; for kode skal du først angive relaterede filer og kaldrelationer. Gentag ikke hele historikken for 'forsikring'; dette vil optage plads til behandling af nye problemer og gøre nøglepunkter sværere at identificere.