今回は、前回に引き続きレポートに書かれている内容を基本にして、現在の生成AIがなぜ数年でAGIにまで一気に進化できるのかを話します

何度も言ってますが、AIの開発状況は毎日のように進展しています。現時点で言えることは、AGIとは、現在のAIのように特定のタスクだけ処理するのではなく、人間のように様々な知的作業をこなせるAIであり、私たちの生活や社会を大きく変える存在になります。つまりAGIは人間と共に働く同僚となって、プログラミング、データ分析、文章作成など、様々な知的作業を自動化してくれる存在となります。レポートでは”突然現れた優秀なリモートワーカー”という表現をしていました

まあ確かに日本の古い体質のIT企業は、そうやって衰退していきましたね。レポートでは、人間はより創造的な仕事やAIの倫理的な管理などに集中できる、と書いてありましたが

失礼しました。AGIの進化の話に戻しますが、こんなデータが紹介されています

例えば、GPT-4の学習に3ヶ月かかったとすると、2027年にはGPT-4レベルのモデルを1分で学習できるようになるということです。ただしこれはあくまで誤差のある推測です

この図は、GPT-4を基準とした計算能力の予想図です。対数グラフであることに注意してください

レポートには副題として”我々はこの10年間、OOM（実効計算量）を急激に増大させてきたが、2030年代以降になるとゆっくりとした苦労に直面することになるだろう”と書いてありますね

確かに数年前OpenAIは、Scaling Lawという論文を発表しています。これはTransformer (言語モデル) の性能は、パラメータ数・データセットサイズ・計算資源予算を変数とした、シンプルなべき乗則 に従うというものです。実験した結果，他の2変数がボトルネックにならない場合，パラメータ数を2倍にすると性能は2のべき乗倍になったのです。この論文が発表されたので、アメリカでは日本の国家予算を上回る資金が生成AI開発に投入されているのです

このスケーリング則は、さらに研究された結果修正されています。2800億パラメータのGopherというLLMと、Chinchillaという700億パラメータのLLMがあると、Chinchilla がGopherの4倍の訓練データ数で学習することで、Gopherの性能を上回ってしまうのです。つまり、モデルパラメータ数に対して、思ったよりも大規模な訓練データを与えないと、性能が向上しないという”チンチラのスケーリング則”が判明したのです。つまり、AIの性能橋上のためにモデルパラメータ数をどんどん増やしても、いずれインターネットに存在する学習可能なテキストデータセットを上回るデータ量が必要になってしまうということです

私も素朴な疑問として、OpenAIは数兆ドルもの巨額資金を調達しているようですが、投資側としてはそれ以上の収益を見込んでいるはずです。しかしどのようにAIを利用すれば、そんな巨額な収益を上げられるのかが分かりません。アメリカの年間軍事費は世界で断トツ１位ですが、それでも総額8800億ドルなので、それすらはるかに超えています。政府の対中国施策としても巨額過ぎますね

では話を戻しましょう。とにかく、レポートでは少なくとも今後10年程度なら今の進化速度でAI性能が上がっていくと見込んでいるようです。もちろんその前に、まともな訓練データが枯渇しなければ、という前提条件がありますが。
ここで重要なことは、AGIを実現するためにはさらに時間をかけた研究開発の末の画期的な発見や発明ではなく、今のトレンドラインのまま投資を継続すればよいと、OpenAIが考えていることです

ただし、ここで公開されている情報は他社が追従できないほど資金豊富な私企業であるOpenAIの開発方針だということです。もしかすると、数兆ドル規模の資金がない企業がAI開発しても無駄だと思わせるために、わざとOpenAIがこのレポートをリークしたのかもしれませんよ。私見にすぎませんが

とにかくこのまま開発を続ければ、2027年頃にはAGIができるはずだと楽観的に言っています。面白いのはこの後です。天才的人間と同等レベルのAGIさえできれば、人間をはるかに超える超知能（ASI：Artificial Super intelligence）が誕生すると言っていることです

ASIとは人間の知能をはるかに超える能力を持つAIのことで、人間が理解や想像もできないような方法で問題を解決することができるイメージですね。このASIをAGIに開発させようというのが、OpenAIの戦略のようなのです

この図を見てください。AGIは人間の優秀なAI研究者であり開発エンジニアでもあるので、AI研究の自動化が可能になります。しかも学習済みAGIは、いくらでもコピーして増設ができるので、大量のAGIを同時並行させることもできます。こうすることで、AGI自体の改良をAGIにやらせるループができることで、桁違いなAI開発スピードが得られて、知能爆発が生じて人間には理解不可能となるASIが爆誕するというお話のようです

AGI開発までは、実験結果などそれなりにエビデンスがあったのですが、ASIの話からは想像力豊かなお話になっていますね。AGIによるAI研究の自動化のアイデアは、実現する可能性がゼロではないと思っていますよ。以前所属していた人工知能学会で”AIを進化させて人類を滅ぼそう”を、合言葉にしている研究者たちがいたことを思い出しますね。今のところASIを開発するための手がかりが全くないので、現時点で存在していないAGIに丸投して、難問解決を先送りしているだけにも思えますが。でも、もしかしたらこの方法が知能に関する人類最高で最後のアプローチになるかもしれませんよ