Qu'est-ce que le contexte et en quoi diffère-t-il des quotas de compte ?
Comprendre la capacité du modèle à traiter le matériel en une seule fois par rapport à l'utilisation cumulative.
Le contexte est le matériel à traiter dans le tour actuel
Le contexte comprend la question actuelle, le contenu pertinent de la conversation, ainsi que le texte des fichiers et les résultats des outils saisis dans le modèle. Sa capacité est limitée, donc même une courte question peut approcher la limite en raison d'une longue conversation précédente ou d'une sortie importante.
Un jeton est l'unité du système pour calculer la longueur du texte et n'équivaut pas au nombre de caractères chinois. Le même nombre de caractères dans le code, l'anglais et le chinois peut avoir des nombres de jetons différents.
Le quota de compte est un type de limite différent
Les quotas de requêtes journaliers ou les limites d'utilisation mensuelles se concentrent sur l'utilisation du compte sur une période donnée. Raccourcir le matériel peut aider à réduire la pression du contexte mais ne restaurera pas immédiatement un quota mensuel épuisé ; attendre la récupération du quota ne raccourcira pas non plus une entrée excessivement longue.
Par exemple, une brève question de suivi ajoutée à une grande quantité de journaux historiques peut voir sa capacité principalement occupée par les journaux. Conserver d'abord les enregistrements pertinents pour la période actuelle, puis indiquer que d'autres parties sont omises, peut aider le modèle à se concentrer sur le problème et également vous permettre de vérifier plus facilement si l'analyse couvre les conditions nécessaires.
- Confirmez d'abord si le message d'erreur indique que le contenu est trop long ou que le quota est insuffisant.
- Si le contenu est trop long, supprimez le matériel non pertinent ou segmentez par question.
- Si le quota est insuffisant, vérifiez les invites de récupération correspondantes du compte.
Comment organiser le matériel
Fournissez d'abord la description de la tâche, puis les fragments essentiels nécessaires pour accomplir la tâche. Pour les longs journaux, spécifiez d'abord la plage horaire et les mots-clés d'erreur ; pour le code, fournissez d'abord les fichiers associés et les relations d'appel. Ne collez pas à plusieurs reprises l'historique complet par « assurance » ; cela occupera de l'espace pour le traitement de nouveaux problèmes et rendra les points clés plus difficiles à identifier.