最近は大規模言語モデルLLMや小規模言語モデルSLMを活用するノウハウがかなり普及をはじめているので、日本企業でもAIアプリケーションが活況を呈しています。ただ本講座では、様々な情報が氾濫している個々のAIアプリは、栄枯盛衰が激しいので言及しません。できる限りAIテクノロジーの潮流を俯瞰的に観察することで、その行方を探りたいと思っています。できるかどうかは分かりませんが

それでは、今回はユニークなSLMテクノロジーを紹介します。それは日本で最も有望視されているスタートアップSakana AIです

Sakanaという名前は日本語の”魚”に由来していて、単純なルールで群れを形成している魚は、進化や集合知などのアイデアを呼び起こすから、とSakana AIはいっています。確かにSakana AIのコア技術は、進化的アルゴリズムや集合知であるモデルマージにありますね

それでは、モデルマージの説明から始めます。モデルマージを端的にいうと、多様な能力を持つ幅広いオープンソースモデルをマージ（融合）して、新たな基盤モデルを構築するための手法です。Sakana AI のHPには”AIの未来は、膨大なエネルギーを必要とする単一の巨大な全知全能のAIシステムではなく、それぞれが専門性や役割を持ち、互いに相互作用する小さなAIシステムの膨大な集合体で構成されることになるでしょう” （註1）とあります

モデルマージの概念は、このイメージ図を参考にしてください。この考え方は以前からあるのですが、どのようにマージすればよいのかが問題でした。今は様々な分野で、数百もの新しいモデルがファインチューニングされて続々と公開されています。これらの異なるモデルを、どれをいくつ選定し、目的に沿う形式でどうやってマージするのかが難問なのです

もちろん各モデルはライブラリのように作ったわけではないので、簡単ではありません。大勢の研究者たちがコミュニティを形成して長年研究した結果、モデルマージはまるで錬金術のような驚くべき成果が得られるようになったのです。ですからモデルマージは”集合知”の成果だといっているのです。ただここでは、概念さえ理解できれば問題ないので、詳細の説明は省きます

では先ほど話した、どのモデルをどのように組み合わせるべきかという問題に対して、Sakana AIの革新的アプローチ方法を説明します。それは進化的アルゴリズムを利用したことです

進化的アルゴリズム（Evolutionary Algorithm）とは、簡単にいうと生物の進化の仕組みを模した、最適解を探索するためのアルゴリズムです（註）

この図は、進化的アルゴリズムの中で最も一般的な遺伝的アルゴリズムで、進化をモデルとした確率的発見的手法です。問題に対して変化と選択に基づく世代交代を繰り返すことで解の集団を進化させ、組合せ最適化問題を解決しようとするものです。幅広い問題に適用が可能ですが、シンプルなフローチャートで表現できるので、図で確認してください

まず遺伝的アルゴリズムにおいて”遺伝子”とは、パラメータや解のことです。”交叉”とは選択した遺伝子を均等な確率でシャッフルする仕組み、”突然変異”は遺伝子が低い確率でランダムに変化することです

例えば、容量が限定されているナップサックに、最適な荷物を入れる問題があるとします。重さや大きさと価値が分かっている荷物の候補は事前に用意されており、トータルで最も価値の高いものを組み合わせるのが最適化問題です。この場合、膨大な計算が必要なのですが、遺伝的アルゴリズムを利用すると、比較的高速に最適化ができるのです

Sakana AIに話を戻します。HPでは、”この進化的アルゴリズムを適用して、様々な基盤モデルの異なる部分の組み合わせを見つけることにより、新しい基盤モデルを作成することができる。Sakana AIが提案した、この進化的モデルマージ (Evolutionary Model Merge)により、何百世代もの自然淘汰を通じて、ユーザーが指定したドメインにおいて非常に優れた性能を発揮する新しい基盤モデルが生み出せるはず”と、Sakana AIは主張しています

いいえ、日本語LLMや日本語画像言語モデル、日本語画像生成モデル、日本の美を学んだ浮世絵風画像生成モデルなど、ユニークな多数の基盤モデルを既に公開していますよ。8月に公開した最新モデルには、複数の画像を同時に扱える日本語で応答可能な新しいVLM（視覚言語モデル）があります。さらにAIサイエンティストのモデルは、LLMを使って研究開発プロセスを自動化する革新的なAIシステムまで発表しています。このように進化的モデルマージの特徴を生かして、続々と複数の機能を持つモデルを短期間で開発し公開しているのです

そうですね。Sakana AIは、設立当初から元Googleの研究者たちのスタートアップとして注目されていました。6月までに200億円調達して、2023年7月の創業からわずか1年で企業価値10億ドル以上の未上場企業、日本最速のユニコーンになっています。日本政府は数少ない有望なAIスタートアップとして、支援しています

そんなことはありません。起業直後から巨額の資金調達をしているので、ある程度成果を出す必要があり、競争相手の少ない日本語版から始めるのは当然です。進化的モデルマージと言語は無関係なので、世界に通じる素晴らしい技術なのです。目標は世界だと思っています

また深読みすると、Sakana AIが日本で起業したのは、アメリカには有望なスタートアップを芽が出る前に買収したり、FTC規制をかいくぐるために創業者や従業員を引っこ抜いたり（註３）する、巨大IT企業・ビッグテックが跋扈しているのが理由なのかもしれません。これは私の単なる憶測ですが。ただ、9/4にNVIDIAがSakana AIに１億ドルを出資したというニュースが飛び込んできた（註4）ので、今後はどうなるか分かりません

OpenAIのAGIレポートを読んだときは、その圧倒的な資金力的資金力と技術に、AIの進化は物量主義で決まりだと思っていました。しかし、このSakana AIを調べると、ビジネス的にはOpenAIの一人勝ちにはならないなと考えが変わってきています

何回か前の講義で話しましたが、OpenAIの元社員がリークしたというレポートは、サム・アルトマンがわざとリークさせて自社の技術力や資金力を誇示し、AGIへ突き進むための仕掛けだったのかもしれません。OpenAIは天文学的な資金を集めていますが、具体的なAGIやASIなどの成果はしばらく先のはずですから

おや、レポートの後半も読んでたのですね。アルトマンにとって、もし政府が資金援助をしてくれるなら安心して経営できますが、徹底した機密管理を強いられることになり、研究者が逃げたり開発方針に自由が無くなるなど、ヤブヘビなのかもしれません。とにかく進化的モデルマージは魅力的な技術ですが、巨大企業となってしまったOpenAIにとって、機密がダダ洩れになるオープンソース戦略や広く集合知を募る、なんてことは出来ませんから

高成長のビッグテックは、2023年以降になるとMATANA(Microsoft、Amazon、Tesla、Alphabet、NVIDIA、Apple）へと勢力図が変わっています

高話を戻しますが、とにかくこの注目すべきテクノロジーである進化的モデルマージの登場が、AIが巨大化と寡占化に突き進んでいく流れを、大きく変える転換期になるのではないかと、私は考えています。時間切れなので、今回はここまでとします。次回ですが、AGIへと突き進むLLMとSLMとの関係、AGIの登場が社会に与えるインパクトなどを話す予定です