Jendela konteks adalah jumlah informasi yang dapat dipertimbangkan model dalam sebuah permintaan, diukur dalam token. Dalam sebuah produk, ruang ini dapat mencakup instruksi, riwayat percakapan, kutipan dokumen, hasil alat, dan ruang untuk jawaban.
Untuk konsep dasarnya, lihat referensi utama. Contoh praktis di sini menjelaskan cara meninjau hasil kerja, bukan mendeskripsikan setiap implementasi produk.
Konteks, memori produk, dan retrieval adalah mekanisme yang berbeda.
Masukkan instruksi penting dan fakta sumber ke dalam ringkasan kerja.
Batas konteks yang besar tidak membuktikan bahwa setiap detail sudah diberikan atau digunakan.
Konteks bukan memori permanen
Setiap pemanggilan model menerima konteks yang disediakan aplikasi. Percakapan panjang bisa dipersingkat, diringkas, atau diambil kembali secara selektif, jadi detail yang muncul lebih awal tidak dijamin akan selalu tersedia.
Jika sebuah batasan penting, nyatakan ulang dalam ringkasan tugas singkat alih-alih menganggapnya masih akan diperhatikan.
Jendela besar tidak membuktikan pemahaman yang lengkap
Dokumen yang muat dalam batas input tidak berarti setiap tabel, grafik, atau kualifikasi akan digunakan dengan benar. Kualitas ekstraksi dan pertanyaan yang Anda ajukan juga berpengaruh.
Periksa kembali jawaban terhadap file aslinya, terutama jika kesimpulan bergantung pada catatan kaki kecil atau baris tertentu.
Gunakan ringkasan kerja
Simpan tujuan, fakta yang sudah diterima, pertanyaan terbuka, dan draf saat ini di satu tempat. Ini membantu ketika tugas berlangsung dalam banyak putaran atau saat Anda berganti model.
Ringkasan sebaiknya mempertahankan ketidakpastian dan rujukan sumber, bukan sekadar merangkum ulang dengan kata-kata yang lebih singkat.
Periksa batasan produk yang sebenarnya
Kapasitas konteks model yang dipublikasikan dan ukuran pesan atau file yang diizinkan aplikasi bisa berbeda. Periksa paket produk dan pengaturan yang berlaku saat ini, jangan langsung menganggap seluruh kapasitas model tersedia.
Untuk alur kerja praktis, lihat mengobrol dengan PDF dan berganti model.
Tentukan apa yang harus tetap dibawa dalam percakapan panjang
Jendela konteks membatasi materi yang dapat diproses model dalam satu permintaan. Bergantung pada implementasinya, materi ini dapat mencakup instruksi, teks percakapan, kutipan file, dan ruang yang dibutuhkan untuk respons. Ini bukan janji memori permanen, juga bukan jaminan bahwa setiap detail dalam input panjang akan digunakan dengan benar.
Percakapan fiktif: instruksi pembuka melarang mengarang hasil; sumber berikutnya menyebut pilot selama dua minggu; dua puluh revisi kemudian membahas tata letak. Ringkasan kerja yang berguna menyertakan larangan tadi, fakta dari sumber, keputusan yang sudah disetujui, dan anggaran yang belum diputuskan. Ringkasan yang hanya memuat permintaan tata letak terbaru akan kehilangan konteks penting.
Konteks adalah materi yang tersedia untuk respons saat ini. Memori produk dan retrieval adalah mekanisme berbeda untuk membawa informasi ke respons berikutnya. Jendela besar yang diiklankan tidak membuktikan bahwa setiap halaman yang diunggah benar-benar diberikan ke model atau bahwa setiap detail yang relevan akan digunakan dengan benar.
| Materi | Contoh | Mengapa perlu dibawa terus |
|---|---|---|
| Instruksi | Jangan mengarang hasil | Menentukan bagaimana klaim boleh ditulis |
| Fakta sumber | Dua minggu; satu tim; anggaran masih menunggu | Menentukan batas isi |
| Tugas saat ini | Revisi hanya judul rekomendasi | Membatasi perubahan berikutnya |
Pertanyaan Umum
Apakah jendela konteks yang lebih besar selalu lebih baik?
Jendela yang lebih besar dapat menampung lebih banyak materi, tetapi relevansi, pengaturan sumber, dan cara aplikasi menangani riwayat tetap penting. Nilailah apakah model benar-benar menggunakan informasi penting dengan tepat.
Mengapa asisten bisa melewatkan fakta yang sebenarnya ada dalam percakapan?
Produk mungkin tidak memasukkan setiap item sebelumnya ke dalam permintaan saat ini, dan model juga bisa luput melihat atau salah menggunakan informasi yang diterimanya. Nyatakan ulang fakta penting beserta sumbernya dan minta pemeriksaan yang spesifik; jangan menganggap jendela yang lebih besar sebagai solusi penuh.
Untuk percakapan panjang, gunakan cara meneruskan pekerjaan saat berganti model. Untuk dokumen, bandingkan cara menyusun pertanyaan untuk PDF dengan retrieval-augmented generation untuk memahami materi apa yang benar-benar mendukung jawaban.
Cara kami menyusun panduan
Syaxis menggunakan AI untuk membantu penulisan dan penerjemahan. Perbandingan mengacu pada sumber yang ditautkan, bukan pengujian langsung, kecuali metode pengujiannya dijelaskan. Contoh yang disajikan bersifat ilustratif, kecuali dinyatakan lain.
Coba Syaxis Chat
Ajukan pertanyaan atau bawa bahan sumber ke Chat. Periksa jawaban dan lanjutkan dengan pertanyaan yang lebih spesifik.
