事前学習とは？
事前学習（Pre-training）とは、AIモデルづくりの最初の段階で、大量のデータを使って幅広い基礎能力を身につけさせる学習工程のことです。LLMであれば、膨大な文章を材料に「次に来る言葉の予測」をひたすら繰り返し、言葉の使い方や世の中の知識を吸収していきます。
「事前」の後に何がある？
事前学習を終えたモデルは、知識は豊富でも、人との対話の作法はまだ身についていない状態です。そこで、その後に仕上げの工程が続きます。
- ファインチューニング：目的に合わせた追加学習で、対話形式や専門分野への対応を教え込む
- RLHF：人間のフィードバックを使って、回答の丁寧さや安全性を磨く
「事前学習で教養を身につけ、仕上げの学習で接客マナーを覚える」とイメージすると、モデルづくりの流れがつかみやすくなります。
GPTの「P」は事前学習のP
ChatGPTの頭脳「GPT」は、Generative Pre-trained Transformer の略で、直訳すると「生成型・事前学習済み・Transformer」です。名前に入っているほど、事前学習は現代のAIにとって中心的な考え方だということです。
なぜこの方式が主流になった？
かつてのAI開発は、用途ごとにゼロから学習させるのが普通でした。事前学習方式の登場により、「一度大きく育てた土台モデルを、いろいろな用途に使い回す」ことが可能になり、開発の効率が飛躍的に上がりました。こうした土台となるモデルは「基盤モデル」とも呼ばれます。いま話題のAIサービスのほとんどは、この「巨大な事前学習済みモデル＋用途別の仕上げ」という作り方でできています。
なお、事前学習には膨大な計算資源が必要で、最先端モデルの学習には数百億円規模の費用がかかるとも言われます。AI企業が巨額の資金調達やデータセンター建設を進めるニュースの背景には、この事前学習のコストがあります。
「事前学習済みモデル」という表現を見かけたら、「基礎教育を終えて、あとは用途に合わせて仕上げるだけのモデル」と読み替えれば大丈夫です。