深層学習のコストも評価を、アレン人工知能研究所が提案
アレン人工知能研究所（AI2）が、エネルギー効率の高い機械学習を促す新しい方法を提案している。
多くの研究者が深層学習のコスト増大に警告を発している。2018年にオープンAI（OpneAI）が公開した調査によると、大規模モデルの訓練に必要な計算資源が3〜4カ月ごとに倍増しているという。6月には別の調査により、特に大規模な自然言語処理モデルの開発で、衝撃的な量の二酸化炭素が排出される可能性が明らかになった。
こうした傾向を生み出しているのは、コストを考慮せずに最先端技術を進歩させようとする、研究者コミュニティの熱意だ。たとえば、性能面でのブレークスルーを賞賛するリーダーボードはあるが、そのブレークスルーに伴うコスト増加にはほとんど言及されない。多くの場合、性能の線形増加にはリソースの指数関数的な成長が伴う。ある専門家の予想ではこのペースが続くと、2025年までに人工知能（AI）が世界全体の電力使用量の10分の1を占める可能性があるという。
こうした統計への懸念は、なにも環境面からだけではない。AI分野の多様性や進展にも影響を及ぼす。注目を集める結果を生み出すために大量のリソースが必要になれば、学術的なAI研究所以上に、民間部門が特権を得ることになる。そうなれば、AI分野の発展は、たとえば公共の利益になる長期的な進歩ではなく、企業のインセンティブに関わる短期的なプロジェクトに制限されかねない。
シアトルを拠点にしているAI2の研究者たちは新たな論文で、AI分野のこうした傾向を緩和する新たな方法を提案している。AI2の新たな論文では、AIモデルを訓練する際のコストを、性能向上の成果と併せて常に公開するようAI研究者に推奨している。AI2の研究者たちは、性能改善の達成に必要なコストの透明性を高めることで、効率の良い機械学習アルゴリズムへの投資が促されることを期待している。
新たな論文の著者でもある、AI2のオレン・エチオーニ最高経営責任者（CEO）は、学術誌や学会向けの論文査読者は、正確性と同くらい効率性を改善した研究にも注目すべきだと考えている。効率性指標が標準化されるまでは、貢献重要度を評価するのは難しいだろう。エチオーニCEOは、「数値の報告は必要ですが、それだけでは十分ではないと考えています」と述べる。
近年、企業の研究部門が深層学習に投じているコンピューティング能力は、劇的に増加している。
しかし、エチオーニCEOは、AIコミュニティがトレードオフをもっと意識できるようになることを望んでいる。効率的なアルゴリズムに投資すれば、さらに多くの利益を引き出せるだけでなく、AIの進歩にも良い影響を与えるだろう。これは二者択一ではないと、エチオーニCEOは述べている。「AI分野に、より優れたバランスをもたらしたいのです」。
