Transformerとは？
Transformer（トランスフォーマー）は、2017年にGoogleの研究チームが発表したニューラルネットワークの設計方式（アーキテクチャ）です。「Attention Is All You Need」という有名な論文で提案され、それまで主流だった方式を置き換えて、現在のLLMのほぼすべての土台になりました。GPTの「T」もTransformerのTです。
何が画期的だった？
核になるのは「アテンション（注意）」という仕組みです。文章を読むとき、ある単語の意味は周りの単語との関係で決まります。たとえば「銀行の口座」と「川の土手（bank）」のように、同じ単語でも文脈で意味が変わります。アテンションは、文中のどの単語同士が関係し合っているかを計算し、文脈全体を踏まえた理解を可能にしました。
さらに、従来方式が文章を頭から順に処理していたのに対し、Transformerは文全体を並列に処理できます。これにより大量のコンピュータで効率よく学習できるようになり、モデルの大規模化——つまりLLMの誕生——への道が開けました。
言葉以外にも広がる
Transformerは文章のためだけの技術ではありません。画像認識、音声認識、動画生成、さらにはタンパク質の構造予測まで、さまざまな分野に応用されています。「データを系列として扱い、関係性をアテンションで捉える」という考え方が、それだけ汎用的だったということです。
初心者向けのまとめ
細かい仕組みは覚えなくても、「2017年のTransformer発明が現在のAIブームの技術的な出発点」「文脈を捉えるアテンションという仕組みが核」という2点を押さえておけば十分です。AIの歴史を語る記事では必ず登場する、現代AIの最重要キーワードのひとつです。
ちなみに論文タイトルの「Attention Is All You Need（注意こそすべて）」は、AI研究史でもっとも有名なタイトルのひとつです。この一本の論文から、ChatGPTも、翻訳AIの進化も、今のAIブームも始まったと言っても大げさではありません。