コンテキストウィンドウとは？
コンテキストウィンドウとは、AIが一度に覚えていられる情報量の上限のことです。チャットAIは、会話のやり取りや読み込ませた資料を「作業机の上」に広げて参照しながら答えています。この机の広さにあたるのがコンテキストウィンドウで、大きさはトークン数で表されます。
長い会話で「忘れる」のはこれが原因
長く会話を続けていると、AIが最初のほうに伝えた設定や指示を忘れてしまうことがあります。これは机からはみ出した古い情報が、参照されなくなるためです。故障でも手抜きでもなく、仕組み上の制限です。
最近のモデルはウィンドウが大幅に拡大し、本1冊分を超える文章を一度に扱えるものもありますが、それでも上限はありますし、あまりに長くなると精度が下がる傾向は残っています。
コンテキストウィンドウの大きさは、AIモデルの重要なスペックのひとつです。「本1冊を丸ごと読める」「社内資料を一括で扱える」といった宣伝文句は、たいていウィンドウの大きさを指しています。長文の資料を扱う仕事なら、モデル選びの比較ポイントになります。
上限を超えるとどうなるかはサービスによって異なり、エラーになる場合もあれば、古いやり取りから順に忘れていく場合もあります。
上手な付き合い方
- 長い作業は話題ごとに新しいチャットを立てる
- 大事な前提条件は、会話の途中で改めて伝え直す
- 長文資料は分割するか、要約させてから次の作業に進む
- 「ここまでの要点をまとめて」と節目で整理させる
「AIの記憶には上限がある」と知っているだけで、AIの急な物忘れにイライラせず、うまく回避できるようになります。
なお、チャットをまたいで好みや設定を覚えてくれる「メモリー機能」を持つサービスもありますが、これはコンテキストウィンドウとは別の仕組みです。「その場の作業机の広さ」がコンテキストウィンドウ、「引き出しに残るメモ」がメモリー機能、と区別しておくと混乱しません。