ディープマインドが言語モデル「RETRO」発表、訓練コストを大幅削減
自然言語処理におけるAI研究の主流となっている大規模言語モデルには、訓練に膨大な計算能力を必要とするという欠点がある、ディープマインドは外部メモリーを辞書として活用することで、訓練に要するコストを大幅に下げられるモデルを発表した。 by Will Douglas Heaven2021.12.13
オープンAI(OpenAI)が言語モデルの「GPT-3」を公開してからの2年間に、著名な人工知能(AI)研究機関の多くがGPT-3を模倣した独自のモデルを開発してきた。グーグル、フェイスブック、マイクロソフト、そして少数の中国企業が、説得力のあるテキストの生成、人間相手のチャット、質問への回答などが可能なAIを構築した。
こうしたモデルは、大規模なニューラル・ネットワークがベースになっていることから「大規模言語モデル」と呼ばれている。今やAIの主流トレンドとなった大規模言語モデルは、高い言語能力を機械に持たせられるという強みと同時に、AIの弱点をも明らかにした。AIに内在するバイアスや、持続不可能なほど膨大になった計算能力は、特に注目すべき弱点だ。
英国に本拠を置き、「アルファゼロ(AlphaZero)」や「アルファフォールド(AlphaFold)」など、AI分野におけるいくつかの偉業の立役者となってきたディープマインド(DeepMind)はこれまで、大規模言語モデルを開発していないという点で異彩を放つ立場にあった。しかし、そのディープマインドが12月8日に、言語モデルに関する3つの大規模研究を発表し、大規模言語モデルをめぐる議論に加わった。ディープマインドの成果で特筆すべき点は、ひねりを加えたAI、つまりAIに外部記憶装置を取り付けて機能を強化するというアイデアだ。記憶装置には膨大な量のテキストの文節がデータベースとして格納されており、AIはそれをカンニングペーパーのように使って新しい文章を作る。
「リトリーバル・エンハンスド・トランスフォーマー(RETRO:Retrieval-Enhanced Transformer)」と呼ばれるこのAIの性能は、25倍の規模のニューラル・ネットワークを有するモデルに匹敵する。つまり、巨大なモデルの学習に必要な時間とコストを削減できるということだ。ディープマインドの研究者らはさらに、データベースを取り付けたおかげでAIが学習した内容の分析がしやすくなり、バイアスや暴言を取り除くのが容易になるかもしれないと主張している。
「言葉を全部記憶しておくよりも、臨機応変に辞書を引くほうが有利な場合は多いものです。人間と同じですね」と、ディープマインドの大規模言語モデル研究を主導するジャック・ラエは語る。
言語モデルは、文章や会話の中で次に来る言葉を予測することでテキストを生成する。モデルが大規模になるほど、訓練によって世界についての情報をより多く吸収できるよう …
- 人気の記事ランキング
-
- The winners of Innovators under 35 Japan 2024 have been announced MITTRが選ぶ、 日本発U35イノベーター 2024年版
- Kids are learning how to make their own little language models 作って学ぶ生成AIモデルの仕組み、MITが子ども向け新アプリ
- These companies are creating food out of thin air 大豆・昆虫の次は微生物、 空気からタンパク質を作る 「夢の食品工場」
- The race to find new materials with AI needs more data. Meta is giving massive amounts away for free. メタ、材料科学向けの最大規模のデータセットとAIモデルを無償公開