まぁこうなると、莫大な電力を消費する事前学習が不要になるので、Softbank孫会長がぶち上げた80兆円もの巨額投資が無駄になりそうですよ。
OpenAIのサム・アルトマンCEOは、ブログの中で、次のような反論をしています。
1：AIモデルは、「トレーニングのコスト」「学習データの量」「推論に費やすコンピューティングコスト」が増えるほど、AIの知能は高くなる、というスケーリング則は非常に正確である。
2：AIの利用価格は1年ごとに10分の1に低下しており、利用価格が下がると総使用量が大幅に増加する。
3：継続的に性能を高めているAIの社会的経済価値は、超指数関数的に増加する。AI投資は指数関数的に増加しているが、投資を停止する理由は見当たらない。
しかし今やSoftbankと運命共同体の関係にあるアルトマンの言い分ですよね。信用できるのかな。
１番と２番に関しては、統計上の裏付けデータがあるので正確です。ただし経験則なので今後もそうなるとは限りません。３番は、この１番２番の経験則が継続するならば、投資判断はこうするべきだ、と言っているだけですね。
ようするに、国家予算並みの80兆円を賭けたギャンブルなんだな。
もそも投資は、金額の多寡に関わらずギャンブルのようなものです。勘違いしてはいけないのは、Softbankの巨額投資先は、AI用のデータセンターと発電所などのAIインフラ構築です。現時点では、巨大LLMは事前学習に「莫大な電力」「GPUリソース」学習データ」を必要としています。しかし、この３要素とも大幅に削減できるというDisTrOという技術が発表されていて、実験が始まっています。
じゃ、Softbankの賭けは負けですか？
いいえ、私はそうは思っていません。先ほどの３要素は、LLMの事前学習に必要なリソースです。推論AIの運用時に必要となるリソースは、「AI稼働時のGPUなどのハードウェアリソース」×「利用者数」です。事前学習時のAIインフラ利用が減っても、ビジネスでのAI利用が激増していくはずなので、AIインフラへの需要は確実に増えるはずだと思っています。
そうだとしても、イーロン・マスクがSoftbankはそんな巨額な資金を持っていないはずだと、ケチをつけてましたよ。
Softbankが1月に発表したStargateプロジェクトは、4年間で$500Billionですが、今年まず$100Billionから始めると、2月の第3四半期説明会で言っていました。しかも自己資金ではなく、銀行やファンドなどの投資家から資金調達をして、$10Billion程度のプロジェクトを組み、そのおよそ10％をStargate企業4社で負担する予定だそうです。つまりSoftbank1社では最大でも4年間で2兆円程度ということになりますね。
なんだ、それじゃ80兆円アメリカに投資するという派手な発表は、単なるパフォーマンスだったんだな。
いかにも孫会長らしい演出でしたが、Softbankグループの決算説明会をみる限りでは、昔の綱渡り経営と違って、５兆円のキャッシュフローまである健全経営に見えました。
でもアメリカだけに投資しても、日本に恩恵がないですよ。
日本では「クリスタル・インテリジェンス」を、SoftbankとOpenAIが「SB OpenAI Japan」を設立して開発すると、日本のトップ企業500社を集めて発表しています。クリスタル・インテリジェンスとは、最先端のAIエージェントで、企業内のシステムやソースコードを学習し、経営の中核として自律的に業務を代行するそうです。これをSoftbankグループが年間4500億円の使用料で導入し、さらに国内のトップ企業に販売することで投資回収する目論みのようです。今まで日本はAIに関して後進国と言われていましたが、孫会長の豪腕でいきなりトップに引っ張り上げようとしているのです。
すごいですね。たとえ巨大な国家でも、トランプ大統領ならアメリカどころか世界全体まで右往左往できるし、孫会長一人で日本の今後の行先を決められるんだ。先が全く読めない複雑怪奇なVUCA社会でも、たった一人の辣腕実力者さえいれば、未来への道筋が決められるんだな。こんなことはAIには不可能だ。
【終わり】
・少ない費用で開発したというDeepSeek-R1は、OpenAIの「o1」と同程度の推論能力があるが、「o1」の原理をベースに細々と改良を加えた実装をしている。
・今後主流となる推論AIは、既存のLLMの知識をコピーすることで事前学習のコストと電力を大幅カットできるが、時間を要する推論時ではコスト高となる。
・SoftbankのStargateとは、ビジネス現場で大量のAIが利用されることを見越して、アメリカのAIインフラに莫大な投資をするプロジェクトである。
著者：谷田部卓
AIセミナー講師、著述業、CGイラストレーターなど、主な著書に、MdN社「アフターコロナのITソリューション」「これからのAIビジネス」、日経メディカル「医療AI概論」他、美術展の入賞実績もある。
（TEXT：谷田部卓 編集：藤冨啓之）
メルマガ登録をしていただくと、記事やイベントなどの最新情報をお届けいたします。
30秒で理解！インフォグラフィックや動画で解説！フォローして『1日1記事』インプットしよう！
メール会員でできること
前回の最後は、「DeepSeekの推論方法は「o1」と同じか？」という質問でした。今回は、その回答からになります。DeepSeek-R1の推論でもベースにあるのが、思考の連鎖（COT）と深層強化学習を使用しているので、基本は同じです。しかし公開されている論文によると、他のオープンソースAIで用いられている様々な手法を、（詳しくは説明しませんが）意外に泥臭く細々と改良していますね。それより驚いたことは、NvidiaのGPUを使うために必須のプラットフォーム「CUDA」を利用していないことです。
うーん……。
なんとアセンブリ言語で直接GPUを動かすことで、通常のパフォーマンスをはるかに超える性能を引き出しているそうです。今時そんな開発効率が悪い手法を使って、性能を追求していることが凄いです。というか、アセンブリ言語を駆使できる職人プログラマーが多数いること自体が驚きです。
先生！ 盛り上がってるところ申し訳ないんですけど、ちょっとマニアックすぎて、どこに驚いているのかが分かりませんよ。
失礼しました。実は、DeepSeek がAI業界にインパクトを与えたのは、推論AIのトレーニングを低コストで実現したことだけではありません。高性能の推論AIを比較的容易に開発できる手法を、オープンソースや論文で公開して、しかも無料のAIサービスとして広く提供したことの方が、AI業界へのインパクトが大きいのです。
なぜですか？
ご存じのように、ビッグテックだけでなく、アメリカや中国にある多数のAIスタートアップが、OpenAIを追いかけています。昨年まではGPT-4oが目標でしたが、今は推論AIの最先端「o3」です。それがDeepSeekのおかげで、「o1」レベルなら誰でも低コストで実現できるようになってしまいました。このためパラメータ数が１兆を超えるような巨大LLMに莫大な費用を投じて事前学習させるより、小型でも思考能力の高い推論AIの人気が、より高くなったのです。
当然そうなるでしょうね。でも今度は小型推論AIが、競争過多のレッドオーシャンな世界になりますよ。
私は昨年の夏ごろ、今後AIの主流が大規模言語モデルLLMから小規模言語モデルSLMへ移っていくと、この講義でも話しましたが、予想どおりでしたね。
先生は、SLMが多数になると言いましたが、推論AIとは言ってませんよ。
そうですね。私もまさかスケーリング則が、学習だけでなく推論にまで適用されるとは思ってもいませんでした。そういえば、DeepSeekショック前の2024年12月時点で、アメリカのAIプラットフォームであるHuggingFaceが、30億パラメータのモデルで700億パラメータに匹敵する性能の推論AIができたと発表しています。
なんだ、それじゃDeepSeekが登場しなくても、遅かれ早かれ小サイズの推論AIはブームになったんだ。
そうなのですが、オープンソースとして登場したので、AIのスタートアップ企業としては、数か月以上の開発期間の短縮とリソース削減ができたはずです。実際にDeepSeekの発表後わずか10日で、少量データとシンプルな制御だけでOpenAI o1-previewやDeepSeek-R1とほぼ同等のパフォーマンスを持つモデルを作成したと論文が発表されています。
先生の言っているAI業界へのインパクトって、そんなもんですか？
いいえ、それだけではありません。ChatGPTは世界的に大評判になりましたが、高性能版は有料です。それに対して多少時間がかかりますが推論もできるDeepSeek-R1は、APIサービスは非常に低価格で、スマホ版は無料です。このためリリース後わずか１週間でユーザー数が１億人を突破と、世界最速のスピードで世界に普及しています。こうなると、後から出すAIサービスはChatGPTレベルではなく推論機能が求められてしまいます。大半の一般ユーザーが推論機能を使うとは思えませんが。
う～ん、そうなのかな。まぁ普通は、ググる代わりに調べものする際、AIに質問するだけになるのか。数学や物理の問題をAIに解かせるなんて、ほとんど考えられないな。でも同じ無料サービスなら、推論できないより推論できるほうのAIを使いますよ。なにがダメなんですか？
巨大なLLMは莫大な電力とGPUリソースを使用しても、推論AIはそれほど使わないので安くてエコだという話がありますね。しかし、推論AIは推論時間が長くなるので、その推論時間分だけ電力を消費します。ChatGPTなどは瞬時に回答しますが、o1-miniのような推論AIは5秒から30秒程度考えてから回答します。これは推論AIの思考プロセスが、タスクを複数の小さな処理に分解し、それぞれを論理的な順序に従って実行して結論を導き出しているからです。ある実験結果では、DeepSeek-R1は同規模のMetaのモデルLlama 3.1 70bと比較して、平均で87%多くのエネルギーを消費することが確認されています。もっとも、この実験は暫定的なものなので、今後詳細に検証されていくはずですが。
でも、10倍なら問題になるけどせいぜい2倍ですよね。
そうなのですが、今後の主流となるAIが、消費電力の大きいモデルということになります。もっともアルゴリズムの革新は今後も続いていくので、課題があれば改良されていくとは思いますが。