Wat is Konteks en Hoe Verskil Dit van Rekwota's?
Verstaan die model se kapasiteit om materiaal gelyktydig te verwerk teenoor kumulatiewe gebruik.
Konteks is die materiaal wat in die huidige rondte verwerk moet word
Konteks sluit die huidige vraag, relevante inhoud uit die gesprek, asook teks uit lêers en gereedskapresultate wat in die model ingevoer is, in. Die kapasiteit daarvan is beperk, so selfs 'n kort vraag mag die limiet nader as gevolg van 'n lang vorige gesprek of groot uitset.
'n Token is die stelsel se eenheid vir die berekening van tekslengte en is nie gelyk aan die aantal Chinese karakters nie. Dieselfde aantal karakters in kode, Engels en Chinees mag verskillende token-tellings hê.
Rekwota is 'n ander soort limiet
Daaglikse versoekkwotas of maandelikse gebruiksbeperkings fokus op die rekening se gebruik oor 'n tydperk. Om die materiaal te verkort kan help om konteksdruk te verminder, maar sal nie 'n opgebruikte maandelikse kwota onmiddellik herstel nie; wag vir kwotaherstel sal ook nie 'n oormatig lang invoer outomaties verkort nie.
Byvoorbeeld, 'n kort opvolgvraag wat aangeheg is met 'n groot hoeveelheid historiese logs mag sy kapasiteit hoofsaaklik deur die logs beset hê. Om rekords wat relevant is vir die huidige tydperk eerste te behou, en dan aan te dui dat ander dele weggelaat is, kan die model help om op die probleem te fokus en dit ook vir jou makliker maak om te kontroleer of die analise nodige voorwaardes dek.
- Bevestig eers of die foutboodskap aandui dat inhoud te lank is of dat die kwota onvoldoende is.
- As die inhoud te lank is, verwyder onrelevante materiaal of segmenteer per vraag.
- As die kwota onvoldoende is, kyk na die rekening se ooreenstemmende herstelprompts.
Hoe om materiaal te organiseer
Verskaf eers die taakbeskrywing, dan die noodsaaklike fragmente wat nodig is om die taak te voltooi. Vir lang logs, spesifiseer eers die tydreeks en fout sleutelwoorde; vir kode, verskaf verwante lêers en oproepverhoudings eerste. Moenie die hele geskiedenis herhaaldelik plak vir 'versekering' nie; dit sal spasie vir die verwerking van nuwe probleme opneem en sleutelpunte moeiliker maak om te identifiseer.