大規模言語モデルの訓練で50トン、見えてきたAIのCO2排出量

大規模言語モデル（LLM）には不都合な秘密がある。訓練と運用に大量のエネルギーが必要になることだ。その上、大規模言語モデルのカーボン・フットプリント（CFP）が実際どれほど大きいのか、正確なところはいまだ若干謎に包まれている。人工知能（AI）スタートアップ企業であるハギング・フェイス（Hugging Face）は、モデルの訓練中だけでなく、ライフサイクル全体にわたっての排出量を見積もることで、より正確にカーボン・フットプリントを推定できる、新たなよりよい手法を編み出したという。

AIによる環境への影響を評価する取り組みを強化するよう専門家らが業界に求める中、今回の手法は、テック企業によるAI製品のカーボン・フットプリントに関する、より現実的なデータの提示につながる可能性がある。ハギング・フェイスの研究は、査読なし論文として公開されている。

ハギング・フェイスは、新たな手法をテストするために、今年リリースした自社の大規模言語モデル「ブルーム（BLOOM）」の全体的な排出量を推定した。推定の過程では多くの数値が合算された。スーパーコンピューターでモデルを訓練するために使用するエネルギー、スーパーコンピューターのハードウェア製造とコンピューティング・インフラの維持に必要なエネルギー、ブルーム稼働開始後の運用に使われるエネルギーなどである。研究チームは、「コードカーボン（CodeCorbon）」というソフトウェアを用いて運用時のエネルギーを算出し、18日間にわたってリアルタイムでブルームの二酸化炭素排出量を追った。

ハギング・フェイスはブルームの訓練により、25トンの二酸化炭素が排出されたと推定していた。しかし、訓練に用いられるコンピューター機器の製造、より広範なコンピューティングインフラ、ブルームの訓練後、実際に運用する際に必要なエネルギーを考慮に入れると排出量は2倍になることが、今回の研究で明らかになった。

1つのモデルの排出量としては多いように思えるかもしれない。二酸化炭素排出量50トンは、ロンドンとニューヨーク間の約60回のフライトと同等だ。しかし、同規模の他の大規模言語モデルに比べれば、はるかに少ない。ブルームがフランスのスーパーコンピューターで訓練されているからだ。フランスは、電力の大部分を二酸化炭素が排出されない原子力発電に頼っている。化石燃料への依存度がより高い電力網を持つ、中国やオーストラリア、米国の一部の地域で訓練されるモデルは、より多くの汚染を引き起こすだろう。 …