大規模言語モデルの訓練で50トン、見えてきたAIのCO2排出量
大規模言語モデルの構築に伴い、二酸化炭素が大量に排出される。AIスタートアップ企業ハギング・フェイスは業界で初めて、AIモデル構築のライフサイクル全体における二酸化炭素排出量を推定する手法を考案した。 by Melissa Heikkilä2022.11.18
大規模言語モデル(LLM)には不都合な秘密がある。訓練と運用に大量のエネルギーが必要になることだ。その上、大規模言語モデルのカーボン・フットプリント(CFP)が実際どれほど大きいのか、正確なところはいまだ若干謎に包まれている。人工知能(AI)スタートアップ企業であるハギング・フェイス(Hugging Face)は、モデルの訓練中だけでなく、ライフサイクル全体にわたっての排出量を見積もることで、より正確にカーボン・フットプリントを推定できる、新たなよりよい手法を編み出したという。
AIによる環境への影響を評価する取り組みを強化するよう専門家らが業界に求める中、今回の手法は、テック企業によるAI製品のカーボン・フットプリントに関する、より現実的なデータの提示につながる可能性がある。ハギング・フェイスの研究は、査読なし論文として公開されている。
ハギング・フェイスは、新たな手法をテストするために、今年リリースした自社の大規模言語モデル「ブルーム(BLOOM)」の全体的な排出量を推定した。推定の過程では多くの数値が合算された。スーパーコンピューターでモデルを訓練するために使用するエネルギー、スーパーコンピューターのハードウェア製造とコンピューティング・インフラの維持に必要なエネルギー、ブルーム稼働開始後の運用に使われるエネルギーなどである。研究チームは、「コードカーボン(CodeCorbon)」というソフトウェアを用いて運用時のエネルギーを算出し、18日間にわたってリアルタイムでブルームの二酸化炭素排出量を追った。
ハギング・フェイスはブルームの訓練により、25トンの二酸化炭素が排出されたと推定していた。しかし、訓練に用いられるコンピューター機器の製造、より広範なコンピューティングインフラ、ブルームの訓練後、実際に運用する際に必要なエネルギーを考慮に入れると排出量は2倍になることが、今回の研究で明らかになった。
1つのモデルの排出量としては多いように思えるかもしれない。二酸化炭素排出量50トンは、ロンドンとニューヨーク間の約60回のフライトと同等だ。しかし、同規模の他の大規模言語モデルに比べれば、はるかに少ない。ブルームがフランスのスーパーコンピューターで訓練されているからだ。フランスは、電力の大部分を二酸化炭素が排出されない原子力発電に頼っている。化石燃料への依存度がより高い電力網を持つ、中国やオーストラリア、米国の一部の地域で訓練されるモデルは、より多くの汚染を引き起こすだろう。 …
- 人気の記事ランキング
-
- AI can make you more creative—but it has limits 生成AIは人間の創造性を高めるか? 新研究で限界が明らかに
- Promotion Call for entries for Innovators Under 35 Japan 2024 「Innovators Under 35 Japan」2024年度候補者募集のお知らせ
- A new weather prediction model from Google combines AI with traditional physics グーグルが気象予測で新モデル、機械学習と物理学を統合
- How to fix a Windows PC affected by the global outage 世界規模のウィンドウズPCトラブル、IT部門「最悪の週末」に
- The next generation of mRNA vaccines is on its way 日本で承認された新世代mRNAワクチン、従来とどう違うのか?