KADOKAWA Technology Review
×
発表!MITテクノロジーレビューが選ぶ
2022年のイノベーター14人。
【12/15 Summit開催】
大規模言語モデルの訓練で50トン、見えてきたAIのCO2排出量
Stephanie Arnett/MITTR | Envato
知性を宿す機械 Insider Online限定
We’re getting a better idea of AI’s true carbon footprint

大規模言語モデルの訓練で50トン、見えてきたAIのCO2排出量

大規模言語モデルの構築に伴い、二酸化炭素が大量に排出される。AIスタートアップ企業ハギング・フェイスは業界で初めて、AIモデル構築のライフサイクル全体における二酸化炭素排出量を推定する手法を考案した。 by Melissa Heikkilä2022.11.18

大規模言語モデル(LLM)には不都合な秘密がある。訓練と運用に大量のエネルギーが必要になることだ。その上、大規模言語モデルのカーボン・フットプリント(CFP)が実際どれほど大きいのか、正確なところはいまだ若干謎に包まれている。人工知能(AI)スタートアップ企業であるハギング・フェイス(Hugging Face)は、モデルの訓練中だけでなく、ライフサイクル全体にわたっての排出量を見積もることで、より正確にカーボン・フットプリントを推定できる、新たなよりよい手法を編み出したという。

AIによる環境への影響を評価する取り組みを強化するよう専門家らが業界に求める中、今回の手法は、テック企業によるAI製品のカーボン・フットプリントに関する、より現実的なデータの提示につながる可能性がある。ハギング・フェイスの研究は、査読なし論文として公開されている。

ハギング・フェイスは、新たな手法をテストするために、今年リリースした自社の大規模言語モデル「ブルーム(BLOOM)」の全体的な排出量を推定した。推定の過程では多くの数値が合算された。スーパーコンピューターでモデルを訓練するために使用するエネルギー、スーパーコンピューターのハードウェア製造とコンピューティング・インフラの維持に必要なエネルギー、ブルーム稼働開始後の運用に使われるエネルギーなどである。研究チームは、「コードカーボン(CodeCorbon)」というソフトウェアを用いて運用時のエネルギーを算出し、18日間にわたってリアルタイムでブルームの二酸化炭素排出量を追った。

ハギング・フェイスはブルームの訓練により、25トンの二酸化炭素が排出されたと推定していた。しかし、訓練に用いられるコンピューター機器の製造、より広範なコンピューティングインフラ、ブルームの訓練後、実際に運用する際に必要なエネルギーを考慮に入れると排出量は2倍になることが、今回の研究で明らかになった。

1つのモデルの排出量としては多いように思えるかもしれない。二酸化炭素排出量50トンは、ロンドンとニューヨーク間の約60回のフライトと同等だ。しかし、同規模の他の大規模言語モデルに比べれば、はるかに少ない。ブルームがフランスのスーパーコンピューターで訓練されているからだ。フランスは、電力の大部分を二酸化炭素が排出されない原子力発電に頼っている。化石燃料への依存度がより高い電力網を持つ、中国やオーストラリア、米国の一部の地域で訓練されるモデルは、より多くの汚染を引き起こすだろう。 …

こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
日本発「世界を変える」35歳未満のイノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を発信する。

記事一覧を見る
MITテクノロジーレビュー[日本版] Vol.8
MITテクノロジーレビュー[日本版] Vol.8脱炭素イノベーション

2050年のカーボンニュートラル(炭素中立)の実現に向けて、世界各国で研究開発が加速する脱炭素技術、社会実装が進む気候変動の緩和・適応策などGX(グリーン・トランスフォーメーション)の最新動向を丸ごと1冊取り上げる。

詳細を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る