量子化とは？
AIの世界での量子化（Quantization）とは、モデルの中の数値（パラメータ）の精度をあえて粗くすることで、モデルのサイズと計算量を圧縮する軽量化技術です。名前は難しそうですが、やっていることは「細かすぎる桁を丸める」というシンプルな発想です。
しくみのイメージ
モデルのパラメータは通常、非常に細かい精度の数値で保存されています。これを、たとえば16ビットから4ビットへと粗い表現に置き換えると、ファイルサイズは数分の1になり、必要なメモリも計算量も大きく減ります。
写真の画質を少し下げてファイルを軽くするのに似ています。多少の劣化はあっても、見た目（＝モデルの賢さ）への影響を最小限に抑えながら圧縮するのが腕の見せどころです。
何がうれしい？
- 普通のPCやスマホでLLMが動く：ローカルLLMの実用化の立役者
- 推論コストの削減：同じ機材でより大きなモデル・より多くの処理をこなせる
- 省エネ：計算量が減るぶん、電力消費も抑えられる
公開モデルの配布ページで「4bit量子化版」「8bit版」といった選択肢を見かけたら、それは同じモデルの圧縮率違いです。数字が小さいほど軽い代わりに、賢さがわずかに落ちる、という関係になっています。
蒸留との違い
同じ軽量化でも、蒸留が「小さいモデルに能力を学び直させる」のに対し、量子化は「同じモデルの数値表現を圧縮する」技術です。実際には両方を組み合わせて、高性能なAIを手元の機械で動くサイズに仕立てるのが定番の流れになっています。
量子化は「量子コンピュータ」とは無関係で、信号処理由来の古くからある用語です。名前に惑わされず「AIモデルのダイエット技術」と覚えておきましょう。
ローカルLLMを試すときには必ず出会う言葉なので、「4bitは軽いが少し粗い、8bitはバランス型」という相場観だけ持っておくと、モデル選びに困りません。
将来ローカルLLMに挑戦するとき、この知識は必ず役に立ちます。「同じモデルの軽さ違いがある」と知っているだけで、最初のつまずきをひとつ減らせます。