ハルシネーションとは?
ハルシネーション(幻覚)とは、生成AIが事実と異なる内容を、自信たっぷりに、もっともらしく答えてしまう現象です。存在しない本のタイトルを挙げたり、実際とは違う日付や数字を答えたりします。生成AIを使ううえで、最初に知っておくべき弱点です。
なぜ起きる?
LLM(大規模言語モデル)は「次に来る言葉の予測」で文章を作っています。つまり、事実を思い出しているのではなく、それらしい言葉のつながりを組み立てているのです。そのため、知らないことを聞かれても「わかりません」と言わずに、それらしい答えを作ってしまうことがあります。
Web検索機能を組み合わせると減らせますが、検索結果の読み間違いなどもあり、完全にゼロにはなっていません。
起きやすいのはこんな質問
ハルシネーションが特に起きやすいのは、マイナーな人名や地名などの固有名詞、細かい数字や日付、ごく最近の出来事、そして「実在するかどうか」自体が問われる質問です。海外では、弁護士がAIの挙げた実在しない判例をそのまま裁判資料に使ってしまい、問題になった事例が有名です。
逆に、文章の要約や言い換え、アイデア出しのように「正解がひとつではない」依頼では、ハルシネーションはほとんど問題になりません。
ひと手間かけられるなら、AIの回答を別のAI(ClaudeならChatGPT)に見せて「事実関係に誤りがないか確認して」と頼む、複数のAIに同じ質問をして答えを見比べる、といった照合テクニックも効果的です。
どう対策する?
- 固有名詞・数字・日付は元の情報源で確認する習慣をつける
- 「出典も教えて」と頼み、出典が実在するか確かめる
- 重要な用途では、Web検索機能つきのモードを使う
- 「わからない場合はわからないと答えて」とプロンプトで伝える
ハルシネーションがあるからAIは使えない、ではなく「優秀だけれど、たまにうっかり間違えるアシスタント」として、最後の確認は人間が行う。この役割分担ができれば、生成AIは十分に頼れる存在です。