About us データのじかんとは？
About us データのじかんとは？
INDEX
Chat GPT、Bing、Bardなど、昨今話題になったAIサービスの背景にある技術、「LLM（大規模言語モデル）」。どういった概念なのか、どのような種類が存在するのか、まとめて押さえておきたいというニーズは一般に広く存在するはずです。
そこでこの記事では、その歴史や種類、我々の世界へもたらす3つの変化といったトピックを通して、LLMのこれまでと現在、そしてこれからについて解説いたします！
「LLM（大規模言語モデル）」とは、大量のデータセットを学習することで、自然な言語処理を可能にした機械学習モデルです。
現在LLMがここまで発展し、注目を集めるようになったきっかけが、2017年にGoogleより発表された論文『Attention Is All You Need』です。同論文で提案された「Transformer（トランスフォーマー）」という「Self-Attention（自己注意）」を用いて、「トークン（AIが文章を構成する最小単位）」に重みづけを行う深層学習モデルにより、文脈を踏まえた自然な言語の生成が高速で行えるようになりました。
トランスフォーマーはChat GPTやBingの基盤であるGPT、Bardの基盤であるLaMDAやPaLM2といったLLMのベースとなっており、2023年8月現在でも自然言語処理の中心的な技術でありつづけています。
また、トランスフォーマー以外にも、2023年3月にHazy Research（スタンフォード大学とモントリオール大学の共同研究チーム）により発表された「Hyena」、同年7月にMicrosoftから発表された「LongNet」や「RetNet」など、数々研究機関・企業により、高速で精度の高い技術処理を可能にする深層学習モデルの開発は進められています。
LLMはテキストをトークンに分割したうえで、各トークンの関連性を導き出し、自然な言語の処理を可能にします。計算量、データセットサイズ、パラメータ数の3要素がその性能を左右する指針であり、その高速化や大規模化がLLMの進化につながります。
2023年8月現在、AIシーンで注目を集めるLLMをいくつか見ていきましょう。
Open AI社によってトランスフォーマーを基盤に開発されたGPTは、2023年の生成AIブームを決定づけたChat GPTや、Microsoftの生成AI搭載WebブラウザBingの基盤となっているAIです。2023年8月現在の最新バージョンは同年3月に発表されたGPT-4であり、パラメーター数など詳細は公開されていませんが、無料版Chat GPTで利用できるGPT-3.5よりも大きく受け答えの精度は高まっています。
Googleにより開発されたLLMで、対話型AIサービス『Bard』に搭載されています。多言語対応、ロジックに基づく推論、プログラミングといった機能が盛り込まれており、その最新版は2023年5月に発表されたPaLM2。そのパラメータ数はGPT-4と同じく非公開ながら、前モデルに当たるPaLMで5,400億ということからかなり大規模であることが推察されます。
Googleにより開発された、PaLM2以前にBardに搭載されていたLLMで、「Language Models for Dialogue Applications（対話型アプリケーションのための言語モデル）」の略称です。その名の通り人間と自然な対話を行うアプリ開発を目標に開発されており、同AIが「人間のような知性を持っている」とエンジニアが主張し、解雇された出来事でも知られています。ほかにもGoogleが開発したLLMには2018年10月発表の『BERT』などもあります。
ビッグ・テックの一角であるMeta社が開発したLLMで、最新バージョンは2023年7月に公開された「LlaMA2」です。一部の商用利用を除いて無償で利用できるオープンソース性の高さがその特徴として知られ、70億、130億、700億などさまざまなパラメーター数のモデルが、公式ページからのダウンロードやMicrosoft AzureでのAI活用といった方法で利用できます。
LLMは私たちのビジネスや生活にどのような影響を及ぼすのでしょうか？
具体的に発生しうる変化を3つのポイントで考えてみましょう。
ChatGPTのような対話型AIが有能な秘書のように答えを返してくれるならば、いちいちキーワードを入力して目当ての情報を探すといった行動の合理性は下がります。そのため、検索ブラウザを塗り替える存在としてLLMに注目が集まっており、Googleに代表される検索サービス事業者はその変化に上手に対応できるかを問われています。
とはいえ、現在のところ、誤った回答をもっともらしく捏造するハルシネーション（幻覚）といった課題が存在するため、まだまだ従来型の「検索」の存在感は大きいです。
LLMは大量のデータセットにより事前学習を行っていますが、自社の業務を代替させるならばその業界や企業特有のデータが重要だということには多くの方が同意されるでしょう。そこで、指定したデータセットを追加で学習させることにより目的に特化したAIモデルを構築することを「ファインチューニング」といいます。
LLMを各企業や業界団体がファインチューニングし、業務を代行させるといった使い方が当たり前になり、そのためのサポートや開発を担う市場が拡大することが予想されます。
企業によるLLMの活用が当たり前のものになれば、当然考えられるのが文章の作成や、リサーチ、プログラミングといったホワイトカラーを中心とする「言語」にまつわる仕事がAIに代替されるということです。
2023年3月にはOpen AI社とペンシルバニア大学の研究者により、米国の労働者の約8割がLLMの普及により影響を受ける可能性があり、その度合いは高賃金の職業ほど大きいことを記した論文『GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models』が発表されました。
2023年、世界中の注目を集める「LLM」について解説してまいりました。その発展性はまだまだ大きく、今のうちに押さえておくことが将来役に立つはずです。
また、LLMにはモデルの規模が大きくなり、ある境界を超えると新たな能力を獲得する「創発性」があるとの見方が存在します。「本記事で記述した予想を超える‟何か”が未来に起こるかも……」とあらゆる可能性に応じる準備をしておきましょう。
【参考資料】 ・小林 雅一『生成ＡＩ 「ChatGPT」を支える技術はどのようにビジネスを変え、人間の創造性を揺るがすのか？』ダイヤモンド社、2023 ・大規模言語モデルLarge Language Models、LLM┃NRI ・Gomez, Lukasz Kaiser, Illia Polosukhin『Attention Is All You Need』┃Arxiv ・グーグル、自然な会話を実現する言語モデル「LaMDA」発表--高度な検索目指す「MUM」技術も┃ZDNET ・Hyena Hierarchy: Towards Larger Convolutional Language Models┃Hazy Research ・AI開発の新たなパラダイム「基盤モデル」とは┃ResruitDataBlog ・The Google engineer who thinks the company’s AI has come to life┃the Washington Post ・AIが及ぼす職業へのインパクト ―研究者らの分析が相次ぐ┃独立行政法人 労働政策研究研修機構 ・Tyna Eloundou, Sam Manning, Pamela Mishkin, Daniel Rock『GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models』
（宮田文机）
30秒で理解！インフォグラフィックや動画で解説！フォローして『1日1記事』インプットしよう！
