蒸留とは？
AIの世界での蒸留（知識蒸留）とは、大きくて賢いモデル（教師モデル）の能力を、小さくて軽いモデル（生徒モデル）に引き継がせる技術です。お酒の蒸留がエッセンスを抽出するように、巨大モデルの知識のエッセンスをコンパクトなモデルに凝縮することから、この名前がついています。
どうやって引き継ぐ？
生徒モデルは、正解データだけでなく「教師モデルがどう答えるか」をお手本にして学習します。教師の出力には「この答えが90%、次点が8%」といった判断の機微が含まれており、これを丸ごと学ぶことで、小さいモデルでも教師に近い判断力を身につけられます。
先生の板書（正解）だけでなく、解くときの思考の癖まで観察して学ぶ生徒、とイメージするとわかりやすいでしょう。
なぜ重要？
- コスト削減：小さいモデルは動かす費用（推論コスト）が大幅に安い
- 高速化：応答が速くなり、快適に使える
- ローカル化：スマホやPCの中で動くサイズにできる（ローカルLLM）
「最高性能の巨大モデルを作る技術」と並んで、「その能力を実用サイズに届ける技術」が重要になっており、蒸留はその代表格です。私たちが日常使うAIの多くにも、蒸留で作られた軽量モデルが使われています。
話題になった背景
蒸留は業界の標準的な技術ですが、「他社のAIの出力を使って自社モデルを蒸留するのは規約違反ではないか」という争いが話題になったこともあります。モデルの規模競争とコスト競争の交差点にある技術として、AI業界のニュースにたびたび登場する言葉です。
ニュースでは「蒸留モデル」「distilled版」といった表現で登場します。「大きいモデルの能力を受け継いだ軽量版」と読み替えれば意味が通ります。高性能と省コストの両立という、AI実用化の核心を担う技術です。
身近な例では、スマホ内で動くAI機能の多くが、大型モデルから蒸留された軽量モデルで実現されています。
大手AI企業も、自社の最上位モデルから蒸留した廉価版・高速版を公式ラインアップとして提供するのが当たり前になっています。