About us データのじかんとは？
About us データのじかんとは？
・GPT-2からGPT-4への進化は、実効計算能力（OOM：計算能力とアルゴリズム効率）が約4.5～6桁向上したことに加え、前回説明した“束縛からの解放”によって大きな性能の向上があった。
・今後4年間では、実効計算能力が５桁ほど向上すると予想でき、さらに“束縛からの解放”によって、有用性と応用範囲が飛躍的に向上すると予想される。
しかし5桁ほど向上するとか言ってますが、性能が1万倍のイメージが分かりませんね
例えば、GPT-4の学習に3ヶ月かかったとすると、2027年にはGPT-4レベルのモデルを1分で学習できるようになるということです。ただしこれはあくまで誤差のある推測です
この10年で終わりか
（出典：SITUATIONAL AWARENESS :The Decade Ahead）
この図は、GPT-4を基準とした計算能力の予想図です。対数グラフであることに注意してください
なんですか、このグラフの意味不明なタイトルは
レポートには副題として”我々はこの10年間、OOM（実効計算量）を急激に増大させてきたが、2030年代以降になるとゆっくりとした苦労に直面することになるだろう”と書いてありますね
なぜですか？AIは計算資源つまり資金さえ続けば、いくらでも性能が上がっていくのでは？
確かに数年前OpenAIは、Scaling Lawという論文を発表しています。これはTransformer (言語モデル) の性能は、パラメータ数・データセットサイズ・計算資源予算を変数とした、シンプルなべき乗則 に従うというものです。
実験した結果，他の2変数がボトルネックにならない場合，パラメータ数を2倍にすると性能は2のべき乗倍になったのです。この論文が発表されたので、アメリカでは日本の国家予算を上回る資金が生成AI開発に投入されているのです
そうですよね。だったらなぜ10年足らずでAI性能が頭打ちになるのですか？
このスケーリング則は、さらに研究された結果修正されています。2800億パラメータのGopherというLLMと、Chinchillaという700億パラメータのLLMがあると、Chinchilla がGopherの4倍の訓練データ数で学習することで、Gopherの性能を上回ってしまうのです。
つまり、モデルパラメータ数に対して、思ったよりも大規模な訓練データを与えないと、性能が向上しないという”チンチラのスケーリング則”が判明したのです。つまり、AIの性能橋上のためにモデルパラメータ数をどんどん増やしても、いずれインターネットに存在する学習可能なテキストデータセットを上回るデータ量が必要になってしまうということです
確かにそうかもしれないけど、インターネット上には毎日莫大な量の新しい情報が更新されているけどな。でもAI投資の資金の方は無尽蔵にあるわけでもないから、具体的なリターンが見込めないと、すぐに枯渇するだろうしな～
私も素朴な疑問として、OpenAIは数兆ドルもの巨額資金を調達しているようですが、投資側としてはそれ以上の収益を見込んでいるはずです。
しかしどのようにAIを利用すれば、そんな巨額な収益を上げられるのかが分かりません。アメリカの年間軍事費は世界で断トツ１位ですが、それでも総額8800億ドルなので、それすらはるかに超えています。
政府の対中国施策としても巨額過ぎますね
また話が逸れてますよ
では話を戻しましょう。とにかく、レポートでは少なくとも今後10年程度なら今の進化速度でAI性能が上がっていくと見込んでいるようです。もちろんその前に、まともな訓練データが枯渇しなければ、という前提条件がありますが。
ここで重要なことは、AGIを実現するためにはさらに時間をかけた研究開発の末の画期的な発見や発明ではなく、今のトレンドラインのまま投資を継続すればよいと、OpenAIが考えていることです
言っていることは理解できますし、説得力もありますね。でもなんだか、いかにも資本主義経済の権化である金満アメリカ人が、貧乏人を札束で引っ叩いて黙らせるやり方みたいだな
ただし、ここで公開されている情報は他社が追従できないほど資金豊富な私企業であるOpenAIの開発方針だということです。もしかすると、数兆ドル規模の資金がない企業がAI開発しても無駄だと思わせるために、わざとOpenAIがこのレポートをリークしたのかもしれませんよ。私見にすぎませんが
う～む。ベンチャーキャピタルが他の有望なAIベンチャーに潤沢な資金提供することを止めさせて、ライバル企業を蹴落とす戦術か。ありえるかな～？
とにかくこのまま開発を続ければ、2027年頃にはAGIができるはずだと楽観的に言っています。面白いのはこの後です。天才的人間と同等レベルのAGIさえできれば、人間をはるかに超える超知能（ASI：Artificial Super intelligence）が誕生すると言っていることです
しかしAGIの定義さえまともにできていないのに、今度は超知能ですか。なんですか、その超知能とは？
ASIとは人間の知能をはるかに超える能力を持つAIのことで、人間が理解や想像もできないような方法で問題を解決することができるイメージですね。このASIをAGIに開発させようというのが、OpenAIの戦略のようなのです
そんなこと本当に上手くいくと思いますか？
※図版：筆者作成「知能爆発の仕組み」
この図を見てください。AGIは人間の優秀なAI研究者であり開発エンジニアでもあるので、AI研究の自動化が可能になります。しかも学習済みAGIは、いくらでもコピーして増設ができるので、大量のAGIを同時並行させることもできます。
こうすることで、AGI自体の改良をAGIにやらせるループができることで、桁違いなAI開発スピードが得られて、知能爆発が生じて人間には理解不可能となるASIが爆誕するというお話のようです
確かに面白いアイデアですね。それで先生は、この話をどこまで信用してますか？
AGI開発までは、実験結果などそれなりにエビデンスがあったのですが、ASIの話からは想像力豊かなお話になっていますね。
AGIによるAI研究の自動化のアイデアは、実現する可能性がゼロではないと思っていますよ。以前所属していた人工知能学会で”AIを進化させて人類を滅ぼそう”を、合言葉にしている研究者たちがいたことを思い出しますね。
今のところASIを開発するための手がかりが全くないので、現時点で存在していないAGIに丸投して、難問解決を先送りしているだけにも思えますが。
でも、もしかしたらこの方法が知能に関する人類最高で最後のアプローチになるかもしれませんよ
え！そんな恐ろしい話になるんですか？
・AIの性能はシンプルなスケーリング則で決まることが判明したため、AI開発に巨額な投資が継続的になされることで、AGIが実現すると考えられている。
・AGIが実現すると、大量のAGIにAI研究の自動化をやらせて、知能爆発を起こしてASIを実現できると考えられている。
（TEXT：谷田部卓 編集：藤冨啓之）
メルマガ登録をしていただくと、記事やイベントなどの最新情報をお届けいたします。
30秒で理解！インフォグラフィックや動画で解説！フォローして『1日1記事』インプットしよう！
メール会員でできること
今回は、前回に引き続きレポートに書かれている内容を基本にして、現在の生成AIがなぜ数年でAGIにまで一気に進化できるのかを話します
先生は以前、AGIの定義は曖昧で、しかも高度な知能を定量的に測定できるベンチマークもまだない、と話してましたよ。そんな状況なのに、どうやってAGIが誕生したと証明するつもりなのですか？
何度も言ってますが、AIの開発状況は毎日のように進展しています。現時点で言えることは、AGIとは、現在のAIのように特定のタスクだけ処理するのではなく、人間のように様々な知的作業をこなせるAIであり、私たちの生活や社会を大きく変える存在になります。
つまりAGIは人間と共に働く同僚となって、プログラミング、データ分析、文章作成など、様々な知的作業を自動化してくれる存在となります。レポートでは”突然現れた優秀なリモートワーカー”という表現をしていました
なるほど、面白い比喩ですね。オンラインでしか登場しない何でもこなしてしまう同僚か。日本だったら、どんな業務でも丸投げできる外注先みたいなものかな。でもそれが続くと、発注元はやがて実務ができなくなって、外注先に全部仕事を取られてしまう、という運命となるな
まあ確かに日本の古い体質のIT企業は、そうやって衰退していきましたね。レポートでは、人間はより創造的な仕事やAIの倫理的な管理などに集中できる、と書いてありましたが
まぁそれは理想論ですよ。現実にはルーチンワークしかできない人は大勢いますから。それにしても、また脇道に逸れてますね
失礼しました。AGIの進化の話に戻しますが、こんなデータが紹介されています