生成AIによる業務効率化の波はホワイトカラーの定型業務から始まると考えられます。たとえば「NRI「AIの導入に関するアンケート調査」（2023年5月）」によると「挨拶文の作成」「記事やシナリオの作成」「ドキュメントの要約」「問い合わせ対応」などの業務で利用されている割合が高く、今後活用に期待が集まっているのが「ドキュメントの要約」「マニュアルの作成」などだということがわかります。

このような業務に付随するのが「テキストデータの入力あるいは出力」です。そこで避けては通れないのが「トークンあたりのコスト」という視点。

本記事ではLLMにおけるトークンとは何かから、ChatGPT、Claude3、Geminiなど主要な生成AIサービスの1Mトークン当たりのAPI料金、日本語と英語のトークンに関する違いなどについてご紹介します。

トークンとは？ LLMはどのように自然言語を処理するのか

生成AIの入力・出力におけるトークンとは、自然言語（英語や日本語など、人間が会話や文章のやり取りで用いる言語）をLLM（Large Language Models：大規模言語モデル）が扱いやすいよう最小単位に分割したものを指します。

LLMは「’AI’, ‘推’, ‘論’, ‘と’, ‘は’,’,’」といったようにテキストをトークンごとに分割し、それぞれに結合や重みづけといった統計的手法を用いて、関係性を分析します。たとえば、GPTやGeminiなど主要なLLMの根幹技術のひとつであるTransformerモデルは、「トークン化→埋め込み→位置埋め込み」という流れで「テキストのトークン化→数値情報（ベクトル）に変換→トークンの順序をベクトルに変換」という流れを経て、次の単語の予測を行いテキストの生成を可能にします。

トークン化（トークナイゼーション）には下記のような手法が存在し、それぞれのサービスやAIモデルによってトークン化の手法は異なります。

・単語ベース：空白や句読点を基にテキストを単語に分割する手法
・サブワードベース: 接頭辞や語根など、単語をより小さい単位に分割する手法
・文字ベース: テキストを個々の文字単位で分割する手法

また、たとえば日本語は単語ごとにスペースを区切るルールがないため、MeCabなど専門のシステムを用いた形態素解析や文字ベースの手法によってトークン化が行われます。

ChatGPT、Claude3、Gemini……各生成AIのAPI利用料は？

企業や個人がAIを利用するにあたってトークンが重要なのは、下記のような理由があるからです。

①一度に処理（入力／出力）できるトークン数がAIモデルによって違う
②トークン当たりのAPI使用料金がAIモデルによって違う

2024年5月31日時点のChatGPT、Claude3、Geminiの処理できるトークン数と1M（100万）トークン当たりのAPIコストの目安価格（ドル）は以下の通りです。

※2024年5月31日時点のデータです。

ご覧の通りモデル・バージョンや入力するプロンプト長によってAPI料金には開きがあり、用途に合わせて過不足ない能力・コストのAIモデルを選定することが重要です。

日本語は英語に比べてトークンが多くなりやすい？

日本語は英語に比べてトークンが多くなりやすいことをみなさんはご存じでしょうか？

たとえば、本記事の一部のテキストをTokenizer（トークン化の結果を見える化してくれるツール）に入力した結果が以下です。

ご覧の通り、トークン数（Tokens）は101、文字数（Charactors）は116と表示されています。次は、同じ文章をDeepL翻訳で英訳し、同様に入力した結果を見てみましょう。

文字数は248と倍増し、反対にトークン数は47に半減しています。

このような言語の違いによる特性から、英訳したプロンプトを入力する（英語でテキストを生成させる）ことで、API料金を節約可能であると考えられます。トークン数を減らすことは、コストを削減できるだけでなく、処理速度の加速にもつながります。

■Tokenizer
https://platform.openai.com/tokenizer

終わりに

既存の生成AIを使ったサービスや製品を生み出すにあたって避けては通れないトークンの基礎知識についてご紹介しました。従量課金型のサービスにおいて、ROIを最大化するための戦略を探ることは、導入を成功に導くにあたって不可欠です。生成AIはまだ普及し始めたばかりですが、今からベストプラクティスを探ることが活用成功を左右するでしょう。

（宮田文机）

メルマガ登録をしていただくと、記事やイベントなどの最新情報をお届けいたします。