LLMのコンテキストウィンドウとは何か？

コンテキストは永続的な記憶ではない

モデルへのリクエストでは、アプリケーションが渡したコンテキストだけが使われます。長い会話では、以前の内容が短縮されたり、要約されたり、必要な部分だけ検索で取り込まれたりするため、過去の細かな情報がずっと利用可能とは限りません。

条件が重要なら、まだ文脈に残っているはずだと考えるのではなく、短い作業メモとして改めて書き直しましょう。

大きなウィンドウが完全な理解を証明するわけではない

文書全体が入力上限に収まったとしても、すべての表、グラフ、注記が正しく使われるとは限りません。情報抽出の質や、どんな問い方をするかも結果に影響します。

特に結論が小さな脚注や特定の行に依存する場合は、元のファイルと照らし合わせて回答を確認してください。

作業用の要約を活用する

目的、確定した事実、未解決の問い、現在の草案をひとまとめにしておきましょう。こうしておくと、作業が何ターンにもまたがる場合や、モデルを切り替える場合に役立ちます。

要約は、単に表現を圧縮するだけでなく、不確実な点や参照元も残すべきです。

製品の実際の制限を確認する

公開されているモデルのコンテキスト容量と、アプリで許可されているメッセージサイズやファイルサイズは一致しないことがあります。モデル本来の最大容量がそのまま使えると決めつけず、利用中のプランと現在の制限を確認してください。

実務での進め方については、PDFに質問する方法とモデルの切り替え方も参考にしてください。

長い会話で何を確実に残すべきかを決める

コンテキストウィンドウは、モデルが1回のリクエストで処理できる素材の範囲を制限します。実装によっては、その素材には指示、会話本文、ファイルの抜粋、そして回答に必要なスペースが含まれます。これは永続的な記憶を約束するものではなく、長い入力内のすべての細部が正しく使われる保証でもありません。

架空の会話例を考えてみましょう。最初の指示では、結果を捏造してはいけないとされています。後から追加された資料には、2週間のパイロット実施と明記されています。その後、20回にわたってレイアウト修正のやり取りが続きます。有用な作業用要約なら、この禁止事項、資料にある事実、確定した判断、未解決の予算を引き継ぎます。最新のレイアウト要望だけを含む要約では、重要なコンテキストが失われてしまいます。

コンテキストとは、現在の回答のために利用可能な素材のことです。製品のメモリや検索は、将来の応答に情報を持ち込むための別の仕組みです。宣伝上のウィンドウサイズが大きくても、アップロードした全ページが実際に渡されたことや、関連する細部がすべて正しく使われることまでは保証しません。