パラメータとは?AIの「調整ねじ」
パラメータとは、AIモデルの内部にある調整可能な数値のことです。ニューラルネットワークのユニット同士をつなぐ「重み」がその正体で、学習とはこの無数のねじを、データに合うように少しずつ回して調整していく作業にあたります。
「パラメータ数」はモデルの規模の目安
ニュースで「パラメータ数7B(70億)のモデル」といった表現を見かけます。これはモデルの中にある調整ねじの総数のことで、モデルの規模を表すもっとも一般的な目安です。BはBillion(10億)の略で、7B=70億個、70B=700億個という意味になります。
大規模言語モデル(LLM)の「大規模」は、まさにこのパラメータ数のけた違いの大きさを指しています。最先端のモデルでは数千億規模かそれ以上とも言われています。
多ければ多いほど賢い?
一般に、パラメータが多いほど複雑な知識やパターンを覚えられます。ただし近年は「大きさがすべて」ではなくなってきました。学習データの質や学習方法の工夫しだいで、小さいモデルが大きいモデルに匹敵する性能を出す例も増えています。
小さいモデルには、動作が速い・費用が安い・スマホやPCの中でも動かせる(ローカルLLM)という利点があり、用途に応じた使い分けが進んでいます。
覚えておきたいポイント
「パラメータ=学習で調整されたAIの中身の数値。数が多いほど大型モデル」。これだけ押さえておけば、新モデルの発表記事の「◯Bモデル」という表記が読めるようになります。モデルの賢さを比べるときは、パラメータ数だけでなくベンチマーク(性能テスト)の結果もあわせて見るのがコツです。
なお、パラメータが大きいモデルほど動かすための計算資源も必要になります。そこで、性能をなるべく保ったままモデルを圧縮する量子化や蒸留といった軽量化技術が発達しました。「大きく育てて、賢く縮める」が現代のAI開発の定番の流れです。