Vad är kontext och hur skiljer den sig från kontokvoter?
Förstå skillnaden mellan mängden underlag modellen kan behandla samtidigt och sammanlagd användning.
Kontext är underlaget som behandlas i den aktuella omgången
Kontext omfattar den aktuella frågan, relevanta delar av samtalet samt text från filer och verktygsresultat som skickas till modellen. Kapaciteten är begränsad. Även en kort fråga kan därför närma sig gränsen om samtalet redan är långt eller resultaten omfattande.
En token är systemets mått på textlängd och motsvarar inte antalet kinesiska tecken. Samma antal tecken i kod, engelska och kinesiska kan ge olika antal token.
Kontokvoten är en annan typ av gräns
Dagliga förfrågningskvoter och månatliga användningsgränser gäller kontots användning under en tidsperiod. Kortare underlag kan minska belastningen på kontexten men återställer inte genast en förbrukad månadskvot. Att vänta på återställd kvot förkortar inte heller automatiskt en alltför lång inmatning.
En kort följdfråga som åtföljs av stora mängder historiska loggar kan till exempel få nästan hela kapaciteten upptagen av loggarna. Behåll först poster från den relevanta tidsperioden och ange sedan vad som har utelämnats. Det hjälper modellen att fokusera och gör det lättare för dig att kontrollera att analysen täcker nödvändiga villkor.
- Kontrollera först om felmeddelandet säger att innehållet är för långt eller att kvoten inte räcker.
- Om innehållet är för långt tar du bort irrelevant underlag eller delar upp det efter fråga.
- Om kvoten inte räcker läser du kontots meddelande om när den återställs.
Så ordnar du underlaget
Beskriv uppgiften först och lägg sedan till de delar som behövs för att slutföra den. För långa loggar anger du först tidsintervall och sökord för fel. För kod börjar du med relevanta filer och anropssamband. Klistra inte upprepade gånger in hela historiken ”för säkerhets skull”; det tar plats från nya frågor och gör viktiga punkter svårare att hitta.