ベンチマークとは？
AIの世界でのベンチマークとは、モデルの性能を測るための共通テストのことです。数学、プログラミング、一般知識、長文読解など分野ごとに標準化された問題集があり、各モデルに同じ問題を解かせてスコアを比較します。新モデル発表時の「○○ベンチマークで最高スコア」という宣伝文句の正体がこれです。
代表的な測定分野
- 知識・推論：大学レベルの各分野の問題や、難関の論理・数学問題
- コーディング：実際のソフトウェア開発課題を解けるか
- エージェント能力：ツールを使って作業を完遂できるか
- 長文理解、多言語対応、安全性（不適切な出力をしないか）など
人間の模試と同じで、テストごとに得意・不得意が出ます。総合1位のモデルが、自分の用途で最良とは限りません。
ベンチマークの限界も知っておく
ベンチマークには「テスト対策」の問題がつきまといます。テスト問題が学習データに混入して不当に高得点になる汚染の問題や、スコアは高いのに実際の使用感が伴わないケースも指摘されています。また、モデルの進化でテストが簡単になりすぎ、より難しいベンチマークが次々と作られるいたちごっこも続いています。
そのため、実際の利用者の投票でモデルを順位づけする方式など、体感に近い評価方法も併用されています。
使う側の賢い付き合い方
ベンチマークは「客観的な参考値」ではあるものの、絶対の物差しではありません。モデル選びでは、スコアに加えて「自分の実際の作業を試させてみる」のが結局いちばん確実です。ニュースでスコア競争を見かけたら、「どの分野のテストで、どれくらいの差なのか」まで見る癖をつけると、宣伝に流されずに済みます。
ベンチマークの結果は各モデルの公式発表のほか、複数モデルを横並びで集計するリーダーボード（順位表）サイトでも確認できます。気になるモデルがあれば、一度眺めてみると相場観がつかめます。
有名なベンチマークの名前（MMLUなどの知識テスト、コーディング系テストなど）を覚える必要はありません。「共通テストのスコア競争が行われている」という構図だけ知っていれば、AIニュースの読解には十分です。