ディープシークは省エネではない？ 推論ブームで新たな懸念

中国発のAIモデル「DeepSeek-R1（ディープシーク-R1）」が話題を独占している。さまざまな業界関係者が多種多様な講評を残しているが、正確さはまちまちだ。このモデルが個人データを収集しているという話（その可能性はある）、これまでのAIの常識を覆すという話（結論を出すにはまだ早いが、本誌のウィル・ダグラス・ヘブン編集者による解説記事は必読）、そしてDeepSeek-R1の斬新で効率的な手法により、現状のAIが消費する大量の電力は必然ではないことが示されたという話などが飛び交っている。

このうち、最後の主張は誤解を招くものである。その理由が、MITテクノロジーレビューに新たに提供されたデータから明らかになった。この初期データは、DeepSeek-R1の小規模モデルのひとつに少数のプロンプト（指示テキスト）を与えた結果に基づいており、同程度の規模を持つメタ（Meta）のモデルと比較して、回答生成時により多くの電力を消費する可能性を示している。DeepSeek-R1の課題は、訓練段階ではエネルギーを節約できるものの、質問への回答時にはより多くのエネルギーを消費し、さらに生成される回答が長くなる傾向がある点である。

さらに、DeepSeek-R1の手法に触発された他のテクノロジー企業が、同様の低コスト推論（reasoning）モデルの開発に乗り出す可能性があることから、AI全体の電力消費に対する見通しはすでに楽観的とは言いがたい状況になっている。

大規模言語モデル（LLM）の処理は大きく2つの段階に分けられる。訓練と推論（inference）だ。訓練は数カ月に及ぶプロセスで、この段階でモデルはデータから学習する。その後、世界中の人々がモデルに何かを質問するたびに実行されるのが推論である。これらの処理はいずれも通常、データセンターで実行され、チップの稼働やサーバーの冷却に大量の電力を消費する。

DeepSeek-R1の訓練段階について、開発チームは「専門家の混合（MoE：Mixture of Experts）」と呼ばれる手法を改良し、訓練段階の特定の時点で数百億あるパラメーター（より良い答えを生成するためにモデルが利用する「つまみ」）のうちの一部だけを使用するようにした。さらに特筆すべきは、強化学習の手法も改良し、モデルが出力した内容を評価して、回答のさらなる改善に利用するようにしたことである。これには通常、人力によるアノテーションが利用されるが、DeepSeek-R1の開発チームはそのプロセスの自動化に成功した。

訓練の効率を上げる手法の登場は、AI企業各社がモデルの性能を一定水準に引き上げるまでに消費する電力を節約できることを意味するように思える。しかし、現実にはそううまくはいかない。

「より賢いシステムを実現することが最優先」となるため、「企業はモデルの訓練にかける投資を減らすのではなく、むしろ増やすようになります」。アンソロピック（Anthropic）の共同創業者で最高経営責任者（CEO）を務めるダリオ・アモデイは自身のブログでこう指摘している。企業が投資に対して多くの見返りを得られるようになれば、さらに投資する価値があるとみなされ、結果としてさらに多くの電力が消費されることになるのだ。「コスト効率の恩恵はすべて、より賢いモデルの訓練に費やされることになり、この流れに歯止めがかかるのは企業の資金力が限界に達したときだけで …

人気の記事ランキング

1. An ancient man’s remains were hacked apart and kept in a garage 切り刻まれた古代人、破壊的発掘から保存重視へと変わる考古学
2. This startup just hit a big milestone for green steel production グリーン鉄鋼、商業化へ前進　ボストン・メタルが1トンの製造に成功
3. AI reasoning models can cheat to win chess games 最新AIモデル、勝つためなら手段選ばず　チェス対局で明らかに
4. OpenAI has released its first research into how using ChatGPT affects people’s emotional wellbeing チャットGPTとの対話で孤独は深まる？ オープンAIとMITが研究