KADOKAWA Technology Review
×
12/16開催『再考ゲーミフィケーションーー「遊び」が変えたビジネス・教育の現在』チケット販売中!
大規模言語モデルの訓練で50トン、見えてきたAIのCO2排出量
Stephanie Arnett/MITTR | Envato
人工知能(AI) Insider Online限定
We’re getting a better idea of AI’s true carbon footprint

大規模言語モデルの訓練で50トン、見えてきたAIのCO2排出量

大規模言語モデルの構築に伴い、二酸化炭素が大量に排出される。AIスタートアップ企業ハギング・フェイスは業界で初めて、AIモデル構築のライフサイクル全体における二酸化炭素排出量を推定する手法を考案した。 by Melissa Heikkilä2022.11.18

大規模言語モデル(LLM)には不都合な秘密がある。訓練と運用に大量のエネルギーが必要になることだ。その上、大規模言語モデルのカーボン・フットプリント(CFP)が実際どれほど大きいのか、正確なところはいまだ若干謎に包まれている。人工知能(AI)スタートアップ企業であるハギング・フェイス(Hugging Face)は、モデルの訓練中だけでなく、ライフサイクル全体にわたっての排出量を見積もることで、より正確にカーボン・フットプリントを推定できる、新たなよりよい手法を編み出したという。

AIによる環境への影響を評価する取り組みを強化するよう専門家らが業界に求める中、今回の手法は、テック企業によるAI製品のカーボン・フットプリントに関する、より現実的なデータの提示につながる可能性がある。ハギング・フェイスの研究は、査読なし論文として公開されている。

ハギング・フェイスは、新たな手法をテストするために、今年リリースした自社の大規模言語モデル「ブルーム(BLOOM)」の全体的な排出量を推定した。推定の過程では多くの数値が合算された。スーパーコンピューターでモデルを訓練するために使用するエネルギー、スーパーコンピューターのハードウェア製造とコンピューティング・インフラの維持に必要なエネルギー、ブルーム稼働開始後の運用に使われるエネルギーなどである。研究チームは、「コードカーボン(CodeCorbon)」というソフトウェアを用いて運用時のエネルギーを算出し、18日間にわたってリアルタイムでブルームの二酸化炭素排出量を追った。

ハギング・フェイスはブルームの訓練により、25トンの二酸化炭素が排出されたと推定していた。しかし、訓練に用いられるコンピューター機器の製造、より広範なコンピューティングインフラ、ブルームの訓練後、実際に運用する際に必要なエネルギーを考慮に入れると排出量は2倍になることが、今回の研究で明らかになった。

1つのモデルの排出量としては多いように思えるかもしれない。二酸化炭素排出量50トンは、ロンドンとニューヨーク間の約60回のフライトと同等だ。しかし、同規模の他の大規模言語モデルに比べれば、はるかに少ない。ブルームがフランスのスーパーコンピューターで訓練されているからだ。フランスは、電力の大部分を二酸化炭素が排出されない原子力発電に頼っている。化石燃料への依存度がより高い電力網を持つ、中国やオーストラリア、米国の一部の地域で訓練されるモデルは、より多くの汚染を引き起こすだろう。 …

こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
人気の記事ランキング
  1. Who’s to blame for climate change? It’s surprisingly complicated. CO2排出「責任論」、単一指標では語れない複雑な現実
  2. Promotion MITTR Emerging Technology Nite #31 MITTR主催「再考ゲーミフィケーション」開催のご案内
  3. Who’s to blame for climate change? It’s surprisingly complicated. CO2排出「責任論」、単一指標では語れない複雑な現実
日本発「世界を変える」U35イノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。2024年受賞者決定!授賞式を11/20に開催します。チケット販売中。 世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を随時発信中。

特集ページへ
MITTRが選んだ 世界を変える10大技術 2024年版

「ブレークスルー・テクノロジー10」は、人工知能、生物工学、気候変動、コンピューティングなどの分野における重要な技術的進歩を評価するMITテクノロジーレビューの年次企画だ。2024年に注目すべき10のテクノロジーを紹介しよう。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る