컨텍스트는 무엇이며 계정 할당량과 어떻게 다른가요?
모델이 한 번에 처리할 자료의 용량과 누적 사용량의 차이를 알아보세요.
컨텍스트는 이번 응답에서 처리할 자료입니다
컨텍스트에는 현재 질문, 대화의 관련 내용, 모델에 입력되는 파일과 도구 결과의 텍스트가 포함됩니다. 용량이 제한되어 있으므로 짧은 질문도 긴 이전 대화나 큰 출력 때문에 한도에 가까워질 수 있습니다.
토큰은 시스템이 텍스트 길이를 계산하는 단위이며 중국어 글자 수와 같지 않습니다. 코드, 영어, 중국어는 문자 수가 같아도 토큰 수가 다를 수 있습니다.
계정 할당량은 다른 종류의 제한입니다
일일 요청 할당량이나 월간 사용 한도는 일정 기간의 계정 사용량을 대상으로 합니다. 자료를 줄이면 컨텍스트 부담은 줄일 수 있지만 소진한 월간 할당량이 즉시 회복되지는 않습니다. 할당량 회복을 기다린다고 지나치게 긴 입력이 자동으로 짧아지는 것도 아닙니다.
예를 들어 짧은 후속 질문에 방대한 과거 로그를 덧붙이면 용량 대부분을 로그가 차지할 수 있습니다. 먼저 현재 시간대와 관련된 기록을 남기고 다른 부분은 생략했다고 표시하면 모델이 문제에 집중하기 쉽고 분석에 필요한 조건이 포함됐는지 직접 확인하기도 쉽습니다.
- 오류가 내용이 너무 길다는 것인지 할당량 부족이라는 것인지 먼저 확인하세요.
- 내용이 너무 길다면 무관한 자료를 제거하거나 질문별로 나누세요.
- 할당량이 부족하다면 계정의 해당 회복 안내를 확인하세요.
자료를 정리하는 방법
먼저 작업 설명을 제공하고 그 작업에 꼭 필요한 부분을 덧붙이세요. 긴 로그는 시간 범위와 오류 키워드부터 적고 코드는 관련 파일과 호출 관계부터 제공하세요. ‘혹시 몰라서’ 전체 기록을 반복해서 붙여 넣지 마세요. 새 문제를 처리할 공간을 차지하고 핵심을 찾기 어렵게 만듭니다.