失礼しました。それでは話の出たSakana AIの革新的テクノロジー”The AI Scientist“を紹介します。
そのAIなら前回聞いた、ズルして危険なので閉じ込められたAIですよね。
そんな孫悟空みたいなAIではありません。LLMを使って研究開発プロセスそのものを自動化できる画期的なAIフレームワークです。Sakana AIの論文によると、”研究アイデアの発案、実験の設計・実施、結果の収集と分析までを自動で行い、その結果をもとに研究論文を執筆できる”とあります。
本当ですか？とても信じられませんよ。OpenAIが何年か後にAGIを完成させてからの話でしたよ。それが既にできてしまったというのですか？
それだけでなく、”論文執筆を担当するLLMとは別に、査読者役のLLMが生成された原稿を批評し、フィードバックを提供して研究を改善する他、次のサイクルでさらに発展させるべき有望なアイデアの選定も行う”とあります。
もちろんまだ実験段階で、有効性が確認できた分野は機械学習だけです。実際にこのThe AI Scientistが作成した論文の例”Adaptive Dual-Scale Denoising”は、公開されているので、自分で確認してください。
そこは任せますが、なんでそんなことができるんですか？
それを今から説明します。
※図版：筆者作成
このThe AI Scientistを簡単に言うと、図にあるような研究の各プロセスで、GPT-4o などのLLMへプロンプトで指示をする、科学的発見のプロセス全体を自動化するためのフレームワークなのです。
つまりアイデア出し、そのアイデアの新規性の評価、アイデアの実験計画作成と実行、結果の保存と論文の執筆、論文の審査とレビューと反省を、選定したLLMにプロンプトで指示するのです。
なんだ、科学研究専用のAIを開発したんじゃなくて、既存のAIを上手く利用したのか。頭がいいですね。いくら頭脳明晰な秀才でも、いきなり前例のないテーマで研究して論文にまとめろと言われても一人じゃできないですよね。
でもテーマ選定、研究と実験、評価などのプロセス毎に、その分野が得意な人を割り当てれば成果が出るかもしれないか。
そうです。昔から難問は可能な限り複数の問題に分割してから考えろ、と言われています。最新のLLMなら、研究の各プロセスを実行できる能力があるので、The AI Scientistは開発フレームワーク形式にして、進化の激しいLLMを交換できる形式にしたのでしょう。
まぁ言われてみれば当然のやり方だけど、このアイデアを最初に実現してしまったSakana AIは凄いな。
このフレームワークの各プロセスには、LLMへのプロンプトのテンプレートがあり自動実行します。その評価結果がNGの場合には、そのプロセスを規定回数繰り返します。今回の実験で作成した10論文を自動査読で評価した結果、スコアが3～5でした。
ちなみに世界最高峰のAI国際会議（ICLR）で採択される論文の平均スコアが6なので、かなり良い結果といえるでしょう。また実験で最新の4つのLLMを比較すると、最も成績が良かったLLMは、日本ではまだマイナーなAnthropicのClaude 3.5 Sonnetで、2位がOpenAIのGPT-4oでした。
つまり、かなりレベルの高い論文を書けた、と言っているんだ。本当ですか？そもそも自動査読とやらを、信用できるのかな。
この自動査読システムの性能評価のために、先ほど紹介したICLRで採択された論文500本を、人間の査読者の評価結果と比較しています。その結果、人間の査読者と同等もしくはそれ以上という性能が示されています。
う～む、ボクでも気が付くようなレベルの”穴”は当然検討済みだろうな。それで論文のレビュー結果は？
レビューのコメントは、”長所は、システムは新しいアイデアを考え出し、実験を行い、結果を説明する能力を持つことです。しかし短所として、理論的な理解や結果の解釈に課題があることも分かりました”でした。もっともこのレビューを書いたのは、AIの自動レビューシステムですが。
ちょっと待ってください。じゃあ、高度で前例のない研究テーマのアイデア出しから、実験して論文を書くまでどころか、査読までAIができるんだ。それじゃ研究者はお払い箱だし、今から大量の論文が発表され続けますよ。以前の回で話していた”知能爆発”がすぐにでも起きるじゃないですか。
このThe AI ScientistはOSSなので誰でも使えます。一方で今のところ機械学習分野に限られていますし、改良すべきところがいくつかあります。それでもこのツールを利用して、大量の論文を生成する輩は世界中に大勢いるでしょうね。
ちなみに2023年のAI関連論文数は、中国22万本で世界1位、インド11万7000本で2位、米国8万8000本で3位です。もっとも中国の論文は売買されているので信用されておらず水増しでしょうね。優秀な論文の目安は他の論文に引用された数ですが、それだとGoogleが1位、MSが2位、Metaが3位になります。（註1）
AIが書いた論文が大量に発表されてくると、少なくとも論文数には大きな影響が出るでしょう。特許のようにAIが書いた論文は承認されなくなるでしょうが、執筆者が人間と申請されたら判別できません。論文数が激増すると査読する研究者も減るでしょうから、査読までAIにやらせる時代が早々にくるでしょうね。
それにしても、こんなSFチックなことが現実に起きているのに、マスコミが大きく取り上げているのを見たことないな。誰も興味を示さないことの方が驚きだ。
私も不思議なのですが、毎週のように更新されるAIテクノロジーの進化が早すぎるので、そのテクノロジーの意味することに大半の人は気が付かないのでしょうね。このThe AI Scientistは、低コストで高度な研究論文の生成が可能なので、実用化されると科学的進歩がさらに加速するはずです。
しかし前回説明したようなリスクもあるので、（註2）まだまだ改良の余地があります。なおSakana AIの論文は、かなり詳細に実験結果を分析しているので、詳しくはそちらを読んでください。この論文は186ページありますが、主要部分は21ページ程度ですよ。
そこはお任せします。そういえば、今回はSLMに関する新しいトピックじゃなかったのでは？
The AI ScientistはLLMを利用していますが、SLMでもLLMでもなくフレームワークなので、AIの多様化の一種といえるでしょう。SLMの概要については以前説明したので、具体的なバリエーションをいくつか紹介します。
ただし以前も言いましたが、私がここでSLMと言っているのは、小規模言語モデルだけではなくSLM（Specialized Language Models）特定用途向け言語モデルも含めているので、一般的に言っているLLMも含まれます。
SLMにLLMが含まれているでは、ややこしいですよ。
技術の進化が激しいとき、言葉が追いつかないことは、よくあることです。数週間で新しい技術や概念が登場するAI業界は特にひどく、昨年までエンジニアならプロンプトエンジニアリングが必須スキルと言われていましたが、今後は廃れていく技術です。
10月末に公開されたGitHub Sparkを利用すれば、プロンプトすら不要で自然言語だけでプログラム開発が可能になりました。現在主流のTransformerを基本とした言語モデルAIであるLLMやSLMといった言葉も、来年にはマルチモーダルAIが主流になるはずなので、忘れられてしまうかもしれませんよ。
そうですか。毎回グチってますが、AI研究者たちがあきれるほどAI進化が激しいですよね。今回の講義のタイトル”階層化される知能”とは、この進化速度に追従できる人と脱落する人に分かれることをいっているんですか？
そんなつもりで付けたタイトルではありません。コンストラクタル法則のいう流動系システムであるAIは、階層化されていくという説明を、今まで何度もしています。
その話は確かに聴いていますが、対象は人工知能でした。人間も対象だという説明はなかったですよ。
ベジャン教授の説では、人類は機械と一体化することで進化している、と説明したはずです。ベジャン教授は、”階層制（hierarchy）は自由に流動する世界には不可欠な要素だ。階層的な大小様々な不均一性のおかげで、楽に流れるようになる。それと富の偏在による不平等とは別の話だ“とも書いています。
つまりAIツールを使いこなせるのが進化した人で、使えないのが進化できない人だという差別的な話ですか。
どうも階層制・ヒエラルキーという言葉には、マイナスのイメージがつきまといますね。コンストラクタル法則は物理法則です。我々が生きている現代社会は、情報が流れている流動系ですが、AIと一体化した人々によって、情報の流通速度が一層加速されていき知識量が激増する、と言っているだけです。
そこだけだと、流動系を持ち出さなくても当たり前のことを言っているだけですよ。
そうですね。以前も言いましたが、コンストラクタル法則は、社会的状況でも理論的な根拠をもって説明できる法則です。現代社会はテクノロジーが急速に発達している、知識量が激増している、というのは状況を説明しているだけです。
流動系の観点では、時間軸での方向性が示せるので、今後も続いていく不可逆的流れだと言い切れるのです。また横道に逸れてしまったので、この続きは次回にします。
・Sakana AIの「The AI Scientist」は、研究開発プロセスそのものを自動化できる画期的なAIフレームワークで、研究者を置き換えてしまう可能性まである。
・このフレームワークは常に最新のLLMが利用でき、アイデア出しから論文執筆まで自動実行が可能。自動査読によって高いレベルの論文が生成できている。
・現代社会は情報が大量に流れている流動系の中にいる。今後もAIが加速度を増して進化するため、知識量が常に激増していく不可逆的流れとなっている。
著者：谷田部卓
AIセミナー講師、著述業、CGイラストレーターなど、主な著書に、MdN社「アフターコロナのITソリューション」「これからのAIビジネス」、日経メディカル「医療AI概論」他、美術展の入賞実績もある。
（TEXT：谷田部卓 編集：藤冨啓之）
メルマガ登録をしていただくと、記事やイベントなどの最新情報をお届けいたします。
30秒で理解！インフォグラフィックや動画で解説！フォローして『1日1記事』インプットしよう！
メール会員でできること
前回、AIはやがて階層化・多様化していき機能分化するだろう、という話をしました。ここ数か月だけでも、様々なSLMや新型LLMなどが発表されているので、今回はそれらを紹介します。
しかし、つい最近までOpenAIのAGIだけが唯一生き残るAIかのごとく話していたのに、よく先生は1か月程度でちゃぶ台返しできますね。
Softbankの孫会長が、今からはAGIの時代だ、と宣言したのは10月なので、世間的にはしばらくAGI狂騒曲が続くでしょう。今からAIは階層化するとか多様化するだの言っているのは、私ぐらいなのかもしれませんね。
でも、孫会長は5億ドル（730億円）出資したOpenAI のAGI一択のように宣伝していながら、実はSLMのSakana AIにも300億円を出資してリスクヘッジしています。さすが孫会長は策士ですね。欲しかったOpenAIを子会社化できなかった経験があるからでしょう。
それで最新トピックとやらは、それだけですか？