※図表：筆者作成「 モデルマージ」
モデルマージの概念は、このイメージ図を参考にしてください。
この考え方は以前からあるのですが、どのようにマージすればよいのかが問題でした。今は様々な分野で、数百もの新しいモデルがファインチューニングされて続々と公開されています。
これらの異なるモデルを、どれをいくつ選定し、目的に沿う形式でどうやってマージするのかが難問なのです
概念は、この図のようなのかもしれませんが、本当に各モデルをパッチワークのように簡単に切り張りできるのですかね
もちろん各モデルはライブラリのように作ったわけではないので、簡単ではありません。大勢の研究者たちがコミュニティを形成して長年研究した結果、モデルマージはまるで錬金術のような驚くべき成果が得られるようになったのです。
ですからモデルマージは”集合知”の成果だといっているのです。ただここでは、概念さえ理解できれば問題ないので、詳細の説明は省きます
では先ほど話した、どのモデルをどのように組み合わせるべきかという問題に対して、Sakana AIの革新的アプローチ方法を説明します。それは進化的アルゴリズムを利用したことです
進化的アルゴリズムは、だいぶ昔から利用されているので、ボクでも名前ぐらいは知ってます。でも生物の自然淘汰を真似たアルゴリズム、という程度しか分かっていません
進化的アルゴリズム（Evolutionary Algorithm）とは、簡単にいうと生物の進化の仕組みを模した、最適解を探索するためのアルゴリズムです（註）
※図表：筆者作成「遺伝的アルゴリズム」
この図は、進化的アルゴリズムの中で最も一般的な遺伝的アルゴリズムで、進化をモデルとした確率的発見的手法です。問題に対して変化と選択に基づく世代交代を繰り返すことで解の集団を進化させ、組合せ最適化問題を解決しようとするものです。
幅広い問題に適用が可能ですが、シンプルなフローチャートで表現できるので、図で確認してください
フローは単純明快ですが、使っている”処理”の意味が不明なので、結局何をやっているプロセスなのか分かりません
まず遺伝的アルゴリズムにおいて”遺伝子”とは、パラメータや解のことです。”交叉”とは選択した遺伝子を均等な確率でシャッフルする仕組み、”突然変異”は遺伝子が低い確率でランダムに変化することです
言葉の意味は分かりますが、結局なにが得られるのか分かりません
例えば、容量が限定されているナップサックに、最適な荷物を入れる問題があるとします。重さや大きさと価値が分かっている荷物の候補は事前に用意されており、トータルで最も価値の高いものを組み合わせるのが最適化問題です。
この場合、膨大な計算が必要なのですが、遺伝的アルゴリズムを利用すると、比較的高速に最適化ができるのです
なるほど、イメージはつかめました
Sakana AIに話を戻します。HPでは、”この進化的アルゴリズムを適用して、様々な基盤モデルの異なる部分の組み合わせを見つけることにより、新しい基盤モデルを作成することができる。
Sakana AIが提案した、この進化的モデルマージ (Evolutionary Model Merge)により、何百世代もの自然淘汰を通じて、ユーザーが指定したドメインにおいて非常に優れた性能を発揮する新しい基盤モデルが生み出せるはず”と、Sakana AIは主張しています
あ、まだ実績があるのではなく研究中なのですね
いいえ、日本語LLMや日本語画像言語モデル、日本語画像生成モデル、日本の美を学んだ浮世絵風画像生成モデルなど、ユニークな多数の基盤モデルを既に公開していますよ。8月に公開した最新モデルには、複数の画像を同時に扱える日本語で応答可能な新しいVLM（視覚言語モデル）があります。
さらにAIサイエンティストのモデルは、LLMを使って研究開発プロセスを自動化する革新的なAIシステムまで発表しています。
このように進化的モデルマージの特徴を生かして、続々と複数の機能を持つモデルを短期間で開発し公開しているのです
Sakana AIの創業は業界的にも”鳴り物入り”だったんですか？
そうですね。Sakana AIは、設立当初から元Googleの研究者たちのスタートアップとして注目されていました。6月までに200億円調達して、2023年7月の創業からわずか1年で企業価値10億ドル以上の未上場企業、日本最速のユニコーンになっています。
日本政府は数少ない有望なAIスタートアップとして、支援しています
ユニークで非常に面白いのですが、発表したAIモデルの大半に”日本語“が付いているのが気になりますね。でもまぁ最初から世界と戦えないから仕方がないのかな～
そんなことはありません。起業直後から巨額の資金調達をしているので、ある程度成果を出す必要があり、競争相手の少ない日本語版から始めるのは当然です。
進化的モデルマージと言語は無関係なので、世界に通じる素晴らしい技術なのです。目標は世界だと思っています
なるほど。あえて”地の利”もある日本市場を選定したというわけですね
また深読みすると、Sakana AIが日本で起業したのは、アメリカには有望なスタートアップを芽が出る前に買収したり、FTC規制をかいくぐるために創業者や従業員を引っこ抜いたり（註３）する、巨大IT企業・ビッグテックが跋扈しているのが理由なのかもしれません。
これは私の単なる憶測ですが。ただ、9/4にNVIDIAがSakana AIに１億ドルを出資したというニュースが飛び込んできた（註4）ので、今後はどうなるか分かりません
アメリカには大量のAIスタートアップがいるし、日本にはライバルがほとんどいないので、ブルー・オーシャンに見えるのでしょうね
OpenAIのAGIレポートを読んだときは、その圧倒的な資金力的資金力と技術に、AIの進化は物量主義で決まりだと思っていました。しかし、このSakana AIを調べると、ビジネス的にはOpenAIの一人勝ちにはならないなと考えが変わってきています
なぜですか？ OpenAIを打ち負かすほど凄い企業とは思えませんが
何回か前の講義で話しましたが、OpenAIの元社員がリークしたというレポートは、サム・アルトマンがわざとリークさせて自社の技術力や資金力を誇示し、AGIへ突き進むための仕掛けだったのかもしれません。
OpenAIは天文学的な資金を集めていますが、具体的なAGIやASIなどの成果はしばらく先のはずですから
でもレポートにAGIは５年以内にできそうだが、もし中国共産党に先を越されると中国に世界征服されてしまうので、政府から国防レベルのセキュリティ援助が必要だ、とも書いてますよ。だからアメリカ政府は、AGI開発をマンハッタン計画なみの国家プロジェクトにしようと考え始めたんじゃないですか
おや、レポートの後半も読んでたのですね。アルトマンにとって、もし政府が資金援助をしてくれるなら安心して経営できますが、徹底した機密管理を強いられることになり、研究者が逃げたり開発方針に自由が無くなるなど、ヤブヘビなのかもしれません。
とにかく進化的モデルマージは魅力的な技術ですが、巨大企業となってしまったOpenAIにとって、機密がダダ洩れになるオープンソース戦略や広く集合知を募る、なんてことは出来ませんから
確かにビッグテックのGAFAM、え～とFacebookがMetaになったから今はなんていうか知らないけど、どこも秘密主義でしたね
高成長のビッグテックは、2023年以降になるとMATANA(Microsoft、Amazon、Tesla、Alphabet、NVIDIA、Apple）へと勢力図が変わっています
メタバースでコケたMetaが抜けて、TeslaとNVIDIAが入ったのか。当然だな。そういえば、最新AIモデルをオープンソースとして公開しているのは、Metaだけですね
話を戻しますが、とにかくこの注目すべきテクノロジーである進化的モデルマージの登場が、AIが巨大化と寡占化に突き進んでいく流れを、大きく変える転換期になるのではないかと、私は考えています。
時間切れなので、今回はここまでとします。
次回ですが、AGIへと突き進むLLMとSLMとの関係、AGIの登場が社会に与えるインパクトなどを話す予定です
・多様な能力を持つ複数のAIモデルをマージ（融合）して、新たなAIモデルを構築する手法をモデルマージという。
・進生物の進化の仕組みを模して最適解を探索するアルゴリズムを、進化的アルゴリズムという。
・Sakana AIは、この２つの手法を利用した進化的モデルマージを武器に、続々と高性能なSLMを発表し、日本最速のユニコーンとなった。
著者：谷田部卓
AIセミナー講師、著述業、CGイラストレーターなど、主な著書に、MdN社「アフターコロナのITソリューション」「これからのAIビジネス」、日経メディカル「医療AI概論」他、美術展の入賞実績もある。
メルマガ登録をしていただくと、記事やイベントなどの最新情報をお届けいたします。
30秒で理解！インフォグラフィックや動画で解説！フォローして『1日1記事』インプットしよう！
メール会員でできること
最近は大規模言語モデルLLMや小規模言語モデルSLMを活用するノウハウがかなり普及をはじめているので、日本企業でもAIアプリケーションが活況を呈しています。
ただ本講座では、様々な情報が氾濫している個々のAIアプリは、栄枯盛衰が激しいので言及しません。できる限りAIテクノロジーの潮流を俯瞰的に観察することで、その行方を探りたいと思っています。できるかどうかは分かりませんが
大丈夫。数年後に振り返ってみて、予想が全く違ってましたよ、などと文句言うのはボクしかいないですから
それでは、今回はユニークなSLMテクノロジーを紹介します。それは日本で最も有望視されているスタートアップSakana AIです
なんですか、その変な名前の企業は
Sakanaという名前は日本語の”魚”に由来していて、単純なルールで群れを形成している魚は、進化や集合知などのアイデアを呼び起こすから、とSakana AIはいっています。確かにSakana AIのコア技術は、進化的アルゴリズムや集合知であるモデルマージにありますね
まぁAIxxとかxxAIとかいう英語社名は大量にあるので、欧米人には日本語名のほうが新鮮で目立ちますからね
それでは、モデルマージの説明から始めます。モデルマージを端的にいうと、多様な能力を持つ幅広いオープンソースモデルをマージ（融合）して、新たな基盤モデルを構築するための手法です。
Sakana AI のHPには”AIの未来は、膨大なエネルギーを必要とする単一の巨大な全知全能のAIシステムではなく、それぞれが専門性や役割を持ち、互いに相互作用する小さなAIシステムの膨大な集合体で構成されることになるでしょう” （註1）とあります
すごいな。OpenAIの開発方針を真っ向否定してますね