Chat GPT、Bing、Bardなど、昨今話題になったAIサービスの背景にある技術、「LLM（大規模言語モデル）」。

どういった概念なのか、どのような種類が存在するのか、まとめて押さえておきたいというニーズは一般に広く存在するはずです。

そこでこの記事では、その歴史や種類、活用分野や課題に加え、我々の世界へもたらす3つの変化といったトピックを通して、LLMのこれまでと現在、そしてこれからについて解説いたします！

LLM（大規模言語モデル）とは

そもそも、LLMとは何なのでしょうか。また、LLMは生成AIや自動言語処理、機械学習とどのような違いがあるのでしょうか。それぞれ詳しく解説します。

LLM（大規模言語モデル）とは何か

「LLM（大規模言語モデル）」とは、大量のデータセットを学習することで、自然な言語処理を可能にした機械学習モデルです。

LLMはテキストをトークンに分割したうえで、各トークンの関連性を導き出し、自然な言語の処理を可能にします。計算量、データセットサイズ、パラメータ数の3要素がその性能を左右する指針であり、その高速化や大規模化がLLMの進化につながります。

現在LLMがここまで発展し、注目を集めるようになったきっかけが、2017年にGoogleより発表された論文『Attention Is All You Need』です。

同論文で提案された「Transformer（トランスフォーマー）」という「Self-Attention（自己注意）」を用いて、「トークン（AIが文章を構成する最小単位）」に重みづけを行う深層学習モデルにより、文脈を踏まえた自然な言語の生成が高速で行えるようになりました。

トランスフォーマーはChat GPTやBingの基盤であるGPT、Bardの基盤であるLaMDAやPaLM2といったLLMのベースとなっており、2023年8月現在でも自然言語処理の中心的な技術でありつづけています。

また、トランスフォーマー以外にも、2023年3月にHazy Research（スタンフォード大学とモントリオール大学の共同研究チーム）により発表された「Hyena」、同年7月にMicrosoftから発表された「LongNet」や「RetNet」など、数々研究機関・企業により、高速で精度の高い技術処理を可能にする深層学習モデルの開発は進められています。

LLM（大規模言語モデル）と機械学習の違い

LLM（大規模言語モデル）と機械学習は、それぞれどのような違いがあるのでしょうか。

LLM（大規模言語モデル）は、機械学習の内の一つです。機械学習とは、コンピュータにデータを読み込ませて学習する能力を持たせ、新たなデータに対する判断や予測ができるようになる技術のことで、対してLLM（大規模言語モデル）は、機械学習の中でも、テキストデータに絞り込んだものといえます。

LLM（大規模言語モデル）は、膨大な量のテキストデータから文脈や構造を学習し、新たな文章の生成や質問への回答ができるAIモデルなのです。

LLM（大規模言語モデル）と生成AIや自動言語処理との違い

LLM（大規模言語モデル）と生成AIにはどのような違いがあるのでしょうか。

LLM（大規模言語モデル）は、生成AIの一種です。生成AIとは、テキストや画像などのメディアといった様々なタイプのデータ生成ができるAI技術の総称です。

中でもLLM（大規模言語モデル）は、生成AIの中でも、自然言語処理に特化した言語モデルといえるでしょう。自然言語処理とは、私たちが普段の生活で自然に使用している言語、言葉をコンピュータが分析して処理することを指し、LLM（大規模言語モデル）は、自然言語処理をすることによって、翻訳や文書の要約作成などができるAIといえます。

LLM（大規模言語モデル）の仕組み

LLMは、一体どのような仕組みで成り立っているのでしょうか。LLMはまず、集められた膨大な量のテキストデータを、「トークン」と呼ばれる最小の単位に分割します。これは、テキストデータのままだとコンピュータは理解しづらいため、トークン化してコンピュータが理解可能な形に変換する必要があるからです。

文脈が理解可能になったトークンは、次に「エンコード」と呼ばれる段階に入ります。エンコードされることで、トークンが特徴量（数値情報）として抽出されると、数値情報としてコンピュータが情報を解析し、それぞれの関連性や意味などを認識します。

次に、エンコードされた後は、「デコード」という段階に入ります。エンコードされた情報から、デコードによって次のトークンを予測し、新しい文章を生成します。その後はまたトークン化に戻り、エンコード・デコードと繰り返されます。

この作業の繰り返しが、LLM（大規模言語モデル）の仕組みです。

代表的なLLM（大規模言語モデル）の種類を解説

代表的なLLMを4つ紹介します。

・GPT
・PaLM
・LaMDA
・LlaMA

順に紹介しますので、ぜひ参考にしてください。

1.GPT

Open AI社によってトランスフォーマーを基盤に開発されたGPTは、2023年の生成AIブームを決定づけたChat GPTや、Microsoftの生成AI搭載WebブラウザBingの基盤となっているAIです。

2023年8月現在の最新バージョンは同年3月に発表されたGPT-4であり、パラメーター数など詳細は公開されていませんが、無料版Chat GPTで利用できるGPT-3.5よりも大きく受け答えの精度は高まっています。

2.PaLM

Googleにより開発されたLLMで、対話型AIサービス『Bard』に搭載されています。多言語対応、ロジックに基づく推論、プログラミングといった機能が盛り込まれており、その最新版は2023年5月に発表されたPaLM2。

そのパラメータ数はGPT-4と同じく非公開ながら、前モデルに当たるPaLMで5,400億ということからかなり大規模であることが推察されます。

3.LaMDA

Googleにより開発された、PaLM2以前にBardに搭載されていたLLMで、「Language Models for Dialogue Applications（対話型アプリケーションのための言語モデル）」の略称です。

その名の通り人間と自然な対話を行うアプリ開発を目標に開発されており、同AIが「人間のような知性を持っている」とエンジニアが主張し、解雇された出来事でも知られています。ほかにもGoogleが開発したLLMには2018年10月発表の『Bard』などもあります。

4.LlaMA

ビッグ・テックの一角であるMeta社が開発したLLMで、最新バージョンは2023年7月に公開された「LlaMA2」です。

一部の商用利用を除いて無償で利用できるオープンソース性の高さがその特徴として知られ、70億、130億、700億などさまざまなパラメーター数のモデルが、公式ページからのダウンロードやMicrosoft AzureでのAI活用といった方法で利用できます。

LLM（大規模言語モデル）の活用分野

LLMは実際にどのような分野で活用されているのでしょうか。比較的新しい技術のLLM（大規模言語モデル）ですが、技術が進化するとともに、多くの分野で注目されるようになりました。具体的には、以下の分野で活用されています。

・情報・IT分野
・広告・マーケティング分野
・教育分野
・その他の分野

それぞれ詳しく解説します。

情報・IT分野

情報やITの分野では、具体的に、情報検索と情報の意味解釈のサポートとしてLLMが活用されています。今までは、ビジネスに必要な情報や資料は、膨大な量の中から適したファイルなどを探し、さらにその中から必要としている情報を自分で抜き出す必要がありました。

しかし、LLM（大規模言語モデル）では、情報検索によって膨大な量の情報の中から特定のものを検索でき、情報の意味解釈によって自分に必要な情報を選別してくれます。それによって、情報検索に必要なコストを大きくカットでき、低コストで高精度な情報を提供してくれるでしょう。

情報検索と情報の意味解釈により、ビジネスの価値や質を向上してくれるため、ビジネスにおいて、最初にLLM（大規模言語モデル）の恩恵を大きく受けるといえます。

広告・マーケティング分野

広告やマーケティングの分野では、具体的に、クリエイティブ制作やマーケティングキャンペーンでLLM（大規模言語モデル）が活用されています。今までは、ターゲットの特定や自社製品のキーワードから、人間の手で広告の作成やマーケティング業務をしていました。

しかし、LLM（大規模言語モデル）にターゲットや商品のキーワード、キャッチコピーなどを情報として与えるだけで、最適な広告を作成してくれます。さらには、SNSなどでのトレンドも取り入れ、広告の出稿時期や形態も考慮した制作やマーケティングキャンペーンをしてくれます。

商品のイメージや目的に合った広告を作成することで、ブランドの魅力を不足なく顧客に伝えていけるでしょう。

教育分野

教育分野では、具体的に教育のサポートや学習効率の向上のためにLLM（大規模言語モデル）が活用されています。今までは、教育や学習において、理解できなかったことや興味を持って深堀したいことがあっても、自分で教材を探して学習したり、人に聞いて教えてもらったりするのが普通でした。

しかし、LLM（大規模言語モデル）は、個人に適した教材の提供や、個人のレベルに適した演習や解説によって、学習効率を大きく向上してくれます。

機械翻訳や文章校正も、教育分野においてLLM（大規模言語モデル）が活用されているうちの一種です。単語だけではなく文脈も理解した翻訳や、入力した文章の意図や内容を理解した上で使用すべき言葉を補完してくれるなど、多くの場面で恩恵を受けています。

LLM（大規模言語モデル）によって、個人によって異なる学習したいことの理解を深めるサポートを十分にしてくれるでしょう。

コミュニケーション分野

上記三つ以外の分野でも、LLM（大規模言語モデル）は多く活用されています。LLMは、コミュニケーションが必要な場面でも力を発揮します。例えば、チャットボットを活用したオペレーション業務が挙げられます。

今までは、すべて人間がカスタマーサポートへの問い合わせに対応していましたが、人間だけでは全件の対応が難しく、どうしても精度が落ちてしまうことがありました。

しかし、LLM（大規模言語モデル）は、相手が発した言葉や文の意図を正確に理解し、適切な応答をしてくれるので、人間が応答している場合と同じように、LLM（大規模言語モデル）が対応することで、人件費を削減しつつ、高精度な対応で顧客の満足度も向上するでしょう。

LLM（大規模言語モデル）の課題

そんなLLM（大規模言語モデル）ですが、まだ様々な課題があります。

• 幻覚が起こるリスクがある
  プロジェクトインジェクションのリスクがある
  偏りがある

上記が、現在LLM（大規模言語モデル）においての課題です。それぞれ詳しく解説していきます。

幻覚が起こるリスクがある

一つ目は、幻覚が起こるリスクがあります。LLM（大規模言語モデル）における幻覚とは、LLM（大規模言語モデル）が勝手に事実と異なる情報や、ユーザーの意図と一致しない情報を提供してしまう現象のことを言います。

対策が進むうちに少しずつ幻覚は減っていくかもしれませんが、あくまでもAIの一種のため、完全に幻覚がなくなることはないでしょう。そのため、LLM（大規模言語モデル）を活用する際には、幻覚が起こる可能性があることを頭に置く必要があります。

プロンプトインジェクションのリスクがある

二つ目は、プロジェクトインジェクションのリスクです。プロジェクトインジェクションとは、ユーザーが特定の質問やプロンプト、指示などをしてLLM（大規模言語モデル）を誘導し、本来禁止されている機密情報の抜き取りや、個人情報を利用してしまうことです。

さらには、根拠のない誤った情報の拡散、セキュリティ面での問題も十分に考えられるでしょう。プロジェクトインジェクションに関しても対策はされていますが、まだまだ欠陥が残っていますので、プロジェクトインジェクションを起こさないために、リスクの認識や十分な対策、ガイドラインの策定などが重要となります。

偏りがある

三つめは、偏りが出てしまうことです。LLM（大規模言語モデル）は、膨大な量の情報を抱えて学習していますが、それによる出力情報の偏りが生じてしまいます。具体的には、学習データがどの地域のものを利用しているかによって、歴史や価値観などが、特定の地域以外をうまく反映できていない場合があります。

また、インターネットのデータにおける言語ボリュームの差による偏りも生じており、LLM（大規模言語モデル）の精度が言語によって異なることが既に指摘されています。このような偏りが生じてしまうと、多様性が欠けたものとなってしまうため、理解することに加えて、必要に応じた調整や補いが必要でしょう。

LLM（大規模言語モデル）が私たちの未来にもたらす3つの変化

LLMは私たちのビジネスや生活にどのような影響を及ぼすのでしょうか？

具体的に発生しうる変化を3つのポイントで考えてみましょう。

• 検索が置き換えられる
• 企業がファインチューニングを行い、自社専用のLLMを業務で活用する
• 伊津部の職業のポストが奪われる

順に紹介します。

1.「検索」が置き換えられる

ChatGPTのような対話型AIが有能な秘書のように答えを返してくれるならば、いちいちキーワードを入力して目当ての情報を探すといった行動の合理性は下がります。そのため、検索ブラウザを塗り替える存在としてLLMに注目が集まっており、Googleに代表される検索サービス事業者はその変化に上手に対応できるかを問われています。

とはいえ、現在のところ、誤った回答をもっともらしく捏造するハルシネーション（幻覚）といった課題が存在するため、まだまだ従来型の「検索」の存在感は大きいです。

2.企業がファインチューニングを行い、自社専用のLLM（大規模言語モデル）を業務で活用する

LLMは大量のデータセットにより事前学習を行っていますが、自社の業務を代替させるならばその業界や企業特有のデータが重要だということには多くの方が同意されるでしょう。そこで、指定したデータセットを追加で学習させることにより目的に特化したAIモデルを構築することを「ファインチューニング」といいます。

LLMを各企業や業界団体がファインチューニングし、業務を代行させるといった使い方が当たり前になり、そのためのサポートや開発を担う市場が拡大することが予想されます

3.一部の職業のポストが奪われる

企業によるLLMの活用が当たり前のものになれば、当然考えられるのが文章の作成や、リサーチ、プログラミングといったホワイトカラーを中心とする「言語」にまつわる仕事がAIに代替されるということです。

2023年3月にはOpen AI社とペンシルバニア大学の研究者により、米国の労働者の約8割がLLMの普及により影響を受ける可能性があり、その度合いは高賃金の職業ほど大きいことを記した論文『GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models』が発表されました。

まとめ

2023年、世界中の注目を集める「LLM」の仕組みや活用方法、課題ついて解説してまいりました。その発展性はまだまだ大きく、今のうちに押さえておくことが将来役に立つはずです。

また、LLMにはモデルの規模が大きくなり、ある境界を超えると新たな能力を獲得する「創発性」があるとの見方が存在します。「本記事で記述した予想を超える”何か”が未来に起こるかも……」とあらゆる可能性に応じる準備をしておきましょう。

（宮田文机）

・小林　雅一『生成ＡＩ 「ChatGPT」を支える技術はどのようにビジネスを変え、人間の創造性を揺るがすのか？』ダイヤモンド社、2023
・大規模言語モデルLarge Language Models、LLM┃NRI
・Gomez, Lukasz Kaiser, Illia Polosukhin『Attention Is All You Need』┃Arxiv
・グーグル、自然な会話を実現する言語モデル「LaMDA」発表--高度な検索目指す「MUM」技術も┃ZDNET
・Hyena Hierarchy: Towards Larger Convolutional Language Models┃Hazy Research
・AI開発の新たなパラダイム「基盤モデル」とは┃ResruitDataBlog
・The Google engineer who thinks the company’s AI has come to life┃the Washington Post
・AIが及ぼす職業へのインパクト ―研究者らの分析が相次ぐ┃独立行政法人 　労働政策研究研修機構
・Tyna Eloundou, Sam Manning, Pamela Mishkin, Daniel Rock『GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models』