Apa itu Konteks dan Bagaimana Perbedaannya dengan Kuota Akun?
Memahami kapasitas model untuk memproses materi sekaligus versus penggunaan kumulatif.
Konteks adalah materi yang akan diproses dalam putaran saat ini
Konteks mencakup pertanyaan saat ini, konten yang relevan dari percakapan, serta teks dari file dan hasil alat yang dimasukkan ke dalam model. Kapasitasnya terbatas, sehingga pertanyaan yang singkat sekalipun dapat mendekati batas karena percakapan sebelumnya yang panjang atau keluaran yang besar.
Token adalah unit sistem untuk menghitung panjang teks dan tidak sama dengan jumlah karakter Tionghoa. Jumlah karakter yang sama dalam kode, bahasa Inggris, dan Tionghoa mungkin memiliki jumlah token yang berbeda.
Kuota akun adalah jenis batasan yang berbeda
Kuota permintaan harian atau batas penggunaan bulanan berfokus pada penggunaan akun selama periode waktu tertentu. Memperpendek materi dapat membantu mengurangi tekanan konteks tetapi tidak akan segera memulihkan kuota bulanan yang habis; menunggu pemulihan kuota juga tidak akan secara otomatis memperpendek masukan yang terlalu panjang.
Misalnya, pertanyaan lanjutan yang singkat yang ditambahkan dengan sejumlah besar log riwayat mungkin memiliki kapasitasnya yang terutama ditempati oleh log. Menyimpan catatan yang relevan dengan periode waktu saat ini terlebih dahulu, kemudian menunjukkan bahwa bagian lain dihilangkan, dapat membantu model fokus pada masalah dan juga memudahkan Anda untuk memeriksa apakah analisis mencakup kondisi yang diperlukan.
- Pertama, konfirmasikan apakah pesan kesalahan menyatakan konten terlalu panjang atau kuota tidak mencukupi.
- Jika konten terlalu panjang, hapus materi yang tidak relevan atau segmentasikan berdasarkan pertanyaan.
- Jika kuota tidak mencukupi, periksa petunjuk pemulihan yang sesuai dari akun.
Cara mengatur materi
Berikan deskripsi tugas terlebih dahulu, kemudian fragmen penting yang diperlukan untuk menyelesaikan tugas. Untuk log yang panjang, tentukan terlebih dahulu rentang waktu dan kata kunci kesalahan; untuk kode, berikan file terkait dan hubungan panggilan terlebih dahulu. Jangan berulang kali menempelkan seluruh riwayat untuk "asuransi"; ini akan memakan ruang untuk memproses masalah baru dan membuat poin-poin penting lebih sulit diidentifikasi.