2024年12月 Population-based Model Merging via Quality Diversity
多様な能力のあるAIエージェント集団の生成
2024年12月 Automating the Search for Artificial Life with Foundation Models
「人工生命」自動探索基盤モデル
2025年1月 Transformer²
新世代の自己適応型 AI モデル
2025年5月 Continuous Thought Machine(CTM)を提案
時間情報を明示的に扱う新世代AIモデル
しかし、人工生命とか自己適応型AIとか、意味不明でも魅惑的なタイトルばかりだな。
まず「品質多様性による人口ベースのモデル統合」という謎のタイトルのテクノロジーからです。ここで重要な概念は「進化的アルゴリズム」と「モデルマージ」の手法です。Sakana AIのキーテクノロジーとなったものですが、以前の講座「ついに汎用人工知能(AGI)が登場する 第4回 ~Sakana AIのテクノロジー~」で解説していますので、参考にしてください。
たしか生物の進化をマネした考え方でしたね。
そう、生物の進化の仕組みを模して、最適解を探索するアルゴリズムです。モデルマージは、多様な能力を持つ複数のAIモデルをマージして、新たなAIモデルを構築する手法です。このPopulation-based Modelは、モデルマージの発展形になります。
それで、その成果は?
現在主流の生成AIは、莫大な計算機リソースを用いる単一の汎用モデルです。AGIを目指しているので、必然的に汎用性を高くしようとしていますが、「AI2027」でも大問題だったように、複数のモデルを維持するだけの計算機リソースを確保できません。これに対してSakana AIは「多様性」を重要視しています。生物は、もし環境が急変しても生き残る「種」があるよう、多種多様な形態をもつ生物を生み出します。安定した環境下では、多様性は無駄に見えるかもしれませんが、環境は常に変化していきます。Sakana AIは、80億パラメータ程度の小規模で多様なAIエージェント集団を、モデルマージなどの手法で生成したのです。
そういえば「AI2027」でも、超高性能な汎用AIのコピーを数千台並列稼働させることで、ASIを誕生させるようなロードマップでしたね。あんな物量主義よりスマートだな。でも生物多様性をマネたにしても、どうやってですか?
ここも進化的アルゴリズムを用いることで、各々が補完し合う多様な能力・行動特性を持つAIエージェント集団が出現して、時間の経過とともに集団としての能力向上ができたのです。
すごいな。進化的アルゴリズムは魔法の杖みたいだ。
多様性といっても能力のバランスをとることが難しく、質の高い多様性を実現する方法がノウハウのようですね。その結果として、2025年末での最高性能であるGPT-4に近い性能を達成したと、そのデータを公開しています。ここは長くなるので省略しますが、詳細は論文に書いてあります。
Sakana AIは今までアルゴリズムなどを、オープンソースとして公開してますよね。じゃ、すぐにまねされますよ。
オープンソースとはそういうものです。そうしないと文明は発展しませんから。ちなみにですが、2025年5月にGoogle DeepMindがGeminiと進化的アルゴリズムを組み合わせたAIエージェント「AlphaEvolve」を発表しています。これは未知のアルゴリズムを発見したり未解決数学問題の新解法を発見できる能力があるそうです。では次にいきます。
※図 発見された人工生命の例
このタイトルはインパクトありますね。しかし人工生命とはなんですか?
人工生命(Artificial Life ・ALife)とは「生命がどのように出現し、進化し、繁栄していくのかを再現して理解する、という野心的な探求で、地球の生命を模倣するだけでなく、全く未知の世界を創造することで、あらゆる生命の根底にある原理を理解しようという研究」だそうです。
なんだかSFみたいで面白そうですが、Sakana AIは、どうしてAIと関係なさそうな研究をやっているんですか?
発表資料では、「MIT、OpenAI、スイス AI ラボ IDSIA、Ken Stanleyと協力してAutomating the Search for Artificial Life with Foundation Modelsを発表した」とありました。タイトルにあるFoundation Modelsは、AIの世界では通常LLMのような(その時点での)ベースとなるAIモデルを指すので、私はAIを利用して人工生命を研究していると思っていました。
じゃあAIを使って人工生命を研究したという話ですか。
ところが資料には「タンパク質発見における大規模な組み合わせ空間を、探索するためのFoundation Models(FMs)は、この分野に革命をもたらした。しかし人工生命(ALife)ではまだFMsが統合されておらず、手作業によるシミュレーションの設計と試行錯誤に頼ってきた。そこで、視覚言語(Vision-language) FMsを用いることにより初めてこれを実現した」とあります。
なんだか、よく分かりませんね。
ノーベル化学賞を受賞したタンパク質のシミュレーションソフトAlphaFoldのことを化学界におけるFMsと言っているので、人工生命の基盤モデルの開発に成功したようです。
つまり人工生命を見つけるためのツールを開発したのですね。それで、どんなことができるのですか?
人工生命の自動探索(ASAL)は、特定の目標行動を生み出すシミュレーションの発見、常に新しいものを生み出し続けるシミュレーションの発見、考えられる様々なシミュレーションをすべて明らかにする、これを目指しています。
え~と、人工生命を直接見つけるツールではなく、人工生命のシミュレータを新しく見つけるシミュレータを、探索するためのプラットフォームを開発したのか。なんだか先が長そうですね。
今まで手作業で数か月から数年かけて開発してきた人工生命シミュレータが、短時間で自動生成できるのですから、圧倒的に研究が速くなっています。ASALの最初のシミュレーションでは、細胞を2つに分裂させる更新規則を発見し、2つ目は長く複雑な進化の軌跡を示すシミュレーションを発見する潜在能力を示しています。
それがどれほど価値ある発見なのかボクには分かりませんが、ノーベル賞級の発見までいきそうですね。
ここでは、その具体的な仕組みは省略しますが、Sakana AIは次のような考えを示しています。「ASALは、生命とあらゆる複雑系の一般原理を理解するのに役立ち、創発、アセンブリ理論、開放性などの概念に関する知識が深まります。さらにオープンエンド性、自己組織化、集合知といった概念を、人工生命をAIに組み込むことで生み出せる可能性があるので、研究する価値が高い」と未来志向を述べていました。なお、説明する予定だった「Transformer²(自己適応型 LLM)」と「新世代AIモデル(CTM)」は、申し訳ないですが時間切れなので次回にします。
続く
・日本のSakana AIは、少人数にもかかわらずユニークで画期的な成果を、続々と発表している注目のスタートアップ企業である。
・Population-based Modelは、進化アルゴリズムと多様性を利用して多様な能力のAIエージェント集団を生成させ、トップクラスの性能があるAIを生み出した。
・人工生命自動発見基盤モデルは、共同研究によって新しい人工生命シミュレータを自動探索できる基盤モデルを開発し、すでに人工生命における研究成果をあげている。
著者:谷田部卓
AIセミナー講師、著述業、CGイラストレーターなど、主な著書に、MdN社「アフターコロナのITソリューション」「これからのAIビジネス」、日経メディカル「医療AI概論」他、美術展の入賞実績もある。
(TEXT:谷田部卓 編集:藤冨啓之)
メルマガ登録をしていただくと、記事やイベントなどの最新情報をお届けいたします。
30秒で理解!インフォグラフィックや動画で解説!フォローして『1日1記事』インプットしよう!
今回のテーマですが、予定を変えてSakana AIが最近発表しているユニークなテクノロジーをいくつか紹介することにしました。
どんな話をする予定だったのですか?
現在バズっているAIエージェントの解説をするつもりでした。しかし前回の講義の「AI2027」にありましたが、AIエージェントのテクノロジーの進化速度が尋常ではありません。しかも技術内容がほとんど非公開です。これでは解説にならないので、後日まとめて説明することにしました。
でもAI進化は指数関数的に速くなるから、ちょっと待っているとAGIになって解説不可能になる、と前回話していたじゃないですか。
そんな話もしたかもしれません。しかし公開されているSakana AIの独創性から、AI進化の方向性が見えてくるテクノロジーに、もっと注目すべきです。そのため紹介することにしました。
しかし、あんな少人数の企業が「The AI Scientist」みたいな画期的なテクノロジーを開発しているだけでなく、それ以外にも並行して独奏的な研究ができるんですか?
2025年4月での従業員数は50名ほどになりました。昨年はわずか10人で、あの素晴らしい成果を出しています。応募が殺到したので、急速に人員補強しているようです。
それにしても日本のIT企業は、何万人もの社員を抱えているのに世界から周回遅れ。やっぱり研究は人数じゃなくて才能なんだな。
いや日本人の研究者に才能がないわけではなく、その企業風土や経営の影響も大きいですよ。それはともかく本題に戻ります。2024年8月に公開したThe AI Scientistも着実に進化して、100%AI生成の科学論文が人間による査読を通過しています。これは世界初ですね。他にもSakana AIのテクノロジーは多数ありますが、その中で特に注目すべきものをピックアップして、簡単にですが紹介します。