トークンとは？AIが文章を数える単位
トークンとは、LLM（大規模言語モデル）が文章を処理するときに使う最小単位のことです。AIは文章をそのまま読んでいるのではなく、まず単語や文字のかたまりに分解してから処理します。この分解されたひとつひとつがトークンです。
英語では「1単語＝おおよそ1トークン」が目安ですが、日本語では1文字が1〜2トークンになることが多く、同じ内容でも英語よりトークン数が多くなりがちです。
文章をトークンに分解する仕組みは「トークナイザー」と呼ばれ、モデルごとに区切り方が異なります。同じ文章でもAIによってトークン数が変わるのはこのためです。
なぜ知っておくと良い？
トークンは、AIサービスの料金や制限の基準になっているからです。
- API利用料：処理したトークン数に応じた従量課金が一般的
- 入力の上限：一度に読み込める量（コンテキストウィンドウ）はトークン数で決まる
- 無料プランの制限：利用量の計測もトークンベースが多い
「長い文書を読み込ませたらエラーになった」「APIの請求が思ったより高い」といった場面では、たいていトークン数が関係しています。
実際どのくらいの量？
ざっくりした目安として、日本語の原稿用紙1枚（400字）は500〜800トークン程度になります。最近のモデルは一度に数十万トークンを扱えるものもあり、本1冊分の文章をまとめて読み込むことも可能になっています。細かく計算する必要はありませんが、「AIは文章をトークンで数えている」と知っておくだけで、制限やエラーの意味がわかるようになります。
トークンを意識した節約・工夫
APIの従量課金で使う場合は、長すぎる前置きを削る、資料は先に要約してから渡す、といった工夫でトークン数（＝コスト）を抑えられます。チャット版でも、不要に長い貼り付けを避けると、応答が速く安定しやすくなります。
なお、AIの応答が途中で切れてしまうのは、出力側のトークン上限に達したサインです。「続きを書いて」と頼めば再開できます。