Ngữ cảnh là gì và khác hạn mức tài khoản ra sao?
Hiểu dung lượng tài liệu mô hình xử lý trong một lượt so với mức sử dụng cộng dồn.
Ngữ cảnh là tài liệu cần xử lý trong lượt hiện tại
Ngữ cảnh gồm câu hỏi hiện tại, nội dung liên quan trong cuộc trò chuyện và văn bản từ tệp, kết quả công cụ đưa vào mô hình. Dung lượng có giới hạn nên câu hỏi ngắn vẫn có thể gần chạm trần do lịch sử trò chuyện dài hoặc đầu ra lớn.
Token là đơn vị hệ thống dùng để tính độ dài văn bản, không bằng số ký tự tiếng Trung. Cùng số ký tự trong mã, tiếng Anh và tiếng Trung có thể có số token khác nhau.
Hạn mức tài khoản là loại giới hạn khác
Hạn mức yêu cầu ngày hoặc sử dụng tháng tập trung vào mức dùng của tài khoản trong một khoảng thời gian. Rút ngắn tài liệu có thể giảm áp lực ngữ cảnh nhưng không lập tức khôi phục hạn mức tháng đã hết; chờ hạn mức hồi lại cũng không tự rút ngắn đầu vào quá dài.
Ví dụ, câu hỏi tiếp ngắn kèm nhiều nhật ký cũ có thể bị nhật ký chiếm phần lớn dung lượng. Giữ bản ghi liên quan đến khoảng thời gian hiện tại trước và ghi rõ đã lược các phần khác giúp mô hình tập trung vào vấn đề, đồng thời giúp bạn kiểm tra phân tích có bao quát điều kiện cần thiết không.
- Trước tiên xác nhận thông báo nói nội dung quá dài hay hạn mức không đủ.
- Nếu nội dung quá dài, bỏ tài liệu không liên quan hoặc chia theo câu hỏi.
- Nếu hạn mức không đủ, xem thông báo khôi phục tương ứng của tài khoản.
Sắp xếp tài liệu như thế nào
Cung cấp mô tả tác vụ trước rồi các đoạn thiết yếu để hoàn thành. Với nhật ký dài, nêu khoảng thời gian và từ khóa lỗi trước; với mã, cung cấp tệp liên quan và quan hệ gọi trước. Đừng dán lặp toàn bộ lịch sử để “cho chắc”; việc đó chiếm chỗ xử lý vấn đề mới và khiến điểm chính khó nhận ra hơn.