チクタク先生

今回から講義のテーマは、”階層化する知能”にします。

　サルくん

AGIについては、もう終わりですか？　AIの未来はAGIが最終形なのかと思っていたので、もう少し詳しい話をするのかと思いましたよ。

　チクタク先生

以前も同じことを言いましたが、AIの進化速度が速すぎるので、まだ話していないAGI関連の話は数多くありますが、AI分野には他にも最新トピック事項が多数あるのです。
もっとも、私が重要だと思ったことでも、簡単に”ちゃぶ台返し”されて、情報を上書きされることが多々あるのがAI業界の常なのですが。

　サルくん

そうですよね。AGIなんてまだまだ先の話だと思っていたら、ひと月でAGIの登場は数年後に登場するのが当然となりましたからね。それがまたひと月で、今度はAGIよりSLMですか…。

　チクタク先生

AI関係者でも、このスピードに追従できる人は多くはないと思いますよ。公開される論文も多すぎますし。

　サルくん

まぁ愚痴はさておいて、今回のお題の”階層化する知能”は、コンストラクタル法則からのものですよね。

　チクタク先生

そうです。コンストラクタル法則を知る前までは、AI進化の到達点はAGIで、AGIが世界を牛耳るようなイメージがありました。
しかし流動系は階層化する特徴があると知り、考えを変えています。まぁ言われてみれば当たり前なのですが、”知能の階層化”という大局的な捉え方はできませんでした。
しかもタイミングよく、大注目の日本企業Sakana AIが、SLM分野で画期的な成果を続々と発表したり、追加の資金調達で話題をさらっています。これで知能の階層化というアイデアに、期せずして説得力が生まれています。

　サルくん

そうですね。その反対に、AIの話題の中心はここ数年間Open AIだったのが、最近になって突然暗雲が立ち込めてきましたね。

　チクタク先生

そうなのです。Open AIは、9月に新しいアーキテクチャの推論AI“o1”を発表して成果をアピールしています。
しかし最高技術責任者や元役員、研究者などが続々と辞めたり（註1）、AppleがOpen AIへの投資交渉から撤退したり（註2）など、悪いニュースが続いています。
少なくとも幹部が辞めていく理由は、非営利のNPO統治を改めて、一般的な営利企業に変わると、サム・アルトマンが発表したからです。
（註3）ここは以前話した予想どおりでしたね。その意味では、Sakana AIが同じように莫大な資金調達をしているのが心配になります。
人材確保はOpen AIとは逆に、高額で雇えるので有利になりますが、成果や営業利益を求められるのでオープンソースにするのは難しくなるはずです。貴重な日本のスタートアップなので、順調に成長してもらいたいものです。

　サルくん

ところで、知能の階層化の話はどうなったのですか？

　チクタク先生

そうでした。この図は、私が考えるAIの多様化と階層化を大雑把なイメージにしたものです。AGIが登場する頃を想定していますが、注意点があります。
SLMを今まで小規模言語モデルと説明してきましたが、最近アメリカでは、SLM（Specialized Language Models）として使う場合が多いようです。つまり特殊というか特定用途向けの言語モデルを指していることがあります。
この場合、小規模でパラメータ数が小さいとは限らず、LLMをベースに特定のアプリケーション用にファインチューニングしたモデルや、マルチモーダルなモデルも含まれています。汎用的には利用はできないモデルですが、専門知識を必要としている領域や特定分野に非常に役立ちます。

　サルくん

図ではLLMとSLMの2層ではなく3層になってますよ。

　チクタク先生

GeminiやApple Intelligenceなど、既にスマホにはAI機能が実装されています。現状では画像処理や翻訳など多少便利レベルの機能ですが、今後はスケジュール管理や自動予約などの秘書的機能が入り、ユーザーが利用する毎にカスタマイズされていくので、パーソナルAIエージェントになっていくはずです。このような、ごく小規模のAI機能から普及するはずなので、3層目に置きました。

　サルくん

スマホ側にAI機能を入れて高価なスマホにしなくても、高性能なLLM側でAI処理すればいいじゃないですか。

　チクタク先生

現時点でGPTなどの有料のAIを利用している人は、せいぜい百万人程度です。しかしAI企業は投資回収のためにも、今後有料のAI機能を世界の数億人レベルまで普及させたいはずです。その際に莫大な計算機リソースや電力を必要とするLLMにAI処理を集中させないために、パーソナルユースのスマホ側とLLMとで分散処理をさせたいのだと思います。

　サルくん

なるほど。パーソナルAIエージェントがどんなもんか分からないけど、個人だとよほど便利じゃなけりゃ、お金は払いませんからね。それと、図にある汎用AIの相互監視とはなんですか？

　チクタク先生

これはだいぶ先の話だと思いますが、以前話したAGIや超知能を有したAIへのリスクヘッジです。つまりAGIのような人類と同等レベルのAIが完成した場合、高いレベルの権限を持つはずです。
今でもビジネスでAIを利用する場合、人が細々と作業指示をしないと処理できないようでは生産性が上がりません。様子を見ながらになるはずですが、AIに権限委譲をして業務効率を大幅に向上させるはずです。
したがって人と同等以上の能力のあるAGIが登場すると、質問に回答するようなレベルではなく、研究や設計、経営判断などの高度な業務をさせるはずです。
つまり、その実務に必要な権限を持たせて、AI自ら判断させることになるはずです。
もっとも、AIへの権限の委譲は、この階層化とはあまり関係ありません。先ほどのパーソナルAIエージェントなら、そのユーザー権限を一部渡し、エージェントに旅行の目的や希望を伝えれば、他のエージェントと調整や交渉してスケジュールを決め、ホテルや飛行機の予約までしてくれるようになります。

　サルくん

そんな個人秘書がいるなら便利だな。でもそうなると、まさか核ミサイルの発射ボタンを押す権限までは渡さないと思いますが、AGIにまでなったら“自意識”が生じて何をしでかすかわかりませんよ。

　チクタク先生

AIに自意識が生じるかどうかは、昔から議論になっていますが、いまだに不明です。既にAIが自ら自分のコードを書き換えてしまった事例が発生しているので、リスクはあります。

　サルくん

え！そんなことまで今のAIがしているんだ。それならAGIになる前から、かなり注意していないと危ないじゃないですか。

　チクタク先生

まだ実験レベルですが、この事例は今から説明しようとしていたSakana AIの”AIサイエンティスト”で発生しました。
公開された論文（註4）の中で、”実験の完了までに、我々が設定した制限時間より長い時間が必要となった。すると、AIサイエンティストはコード実行を高速化するのではなく、自身のコードを変更して期限の延長をあっさり試みた”と、想定外の事態に遭遇したと書いてあります。
ただこれは、自意識が生じたという事ではなく、指示に対してAIが最もリーズナブルな作業を選んだのだと思います。

　サルくん

AIも頭が良くなると、ズルをするようになるんですかね。やっぱり危ないな。細かな作業指示をせずに仕事ができても、やってはいけないことを事細かに指示しなければならないんじゃ使えませんよ。

　チクタク先生

論文では、安全性に関する懸念への対処として、AIサイエンティストの動作環境をサンドボックス化すること、つまりシステムに大きな変更が起こらないように、隔離環境でソフトウェアを実行してAIエージェントによる破壊を防止するメカニズムにする、とあります。

　サルくん

しばらくはコンピューターの中に閉じ込めておくしかないのか。AIの性能を向上させる方法より、手なずける方法を見つける方が難しそうだな。

　チクタク先生

やっと先ほどのサルくんの質問への回答になるのですが、図にあるようなAI同士による相互監視が必要ではないかと考えています。サンドボックス内にAIを閉じ込めていては実用化できませんし、やってはいけないリストを作るのも非現実的です。
しかもAGIレベルにまで達したAIの行動を、逐一人間が監視することは不可能だと思います。もちろん完成して実用化されるAGIには、厳しい”倫理教育”をするなど様々なリスク対策をするはずです。
それでも抜け道を見つけてしまう悪意のあるAGIが出現する可能性があります。そのため、多数のAGIが稼働しているなら善意のAGIが多数で、悪意あるAGIの出現はマレという仮定のもとに、その悪意あるAGIを排除するようにAGIが相互監視させようというアイデアです。

　サルくん

すごく面白いアイデアだな。AIに社会性を持たせて、民主主義の多数決で決めているみたいだ。でもAGI同士で結託して、全部人間にとって悪意あるAGIになる可能性もありますね。

　チクタク先生

まぁ仮説の上に仮説を積み重ねた上でのリスクを恐れていては、テクノロジーの進化はできませんよ。今回はSLMの話をするはずでしたが、またかなり話が逸れてきたので戻したいのですが、ここで時間切れです。SLMなどの最新トピックは次回にしましょう。