KADOKAWA Technology Review
×
ディープマインドが言語モデル「RETRO」発表、訓練コストを大幅削減
Ms Tech | Getty
人工知能(AI) 無料会員限定
DeepMind says its new language model can beat others 25 times its size

ディープマインドが言語モデル「RETRO」発表、訓練コストを大幅削減

自然言語処理におけるAI研究の主流となっている大規模言語モデルには、訓練に膨大な計算能力を必要とするという欠点がある、ディープマインドは外部メモリーを辞書として活用することで、訓練に要するコストを大幅に下げられるモデルを発表した。 by Will Douglas Heaven2021.12.13

オープンAI(OpenAI)が言語モデルの「GPT-3」を公開してからの2年間に、著名な人工知能(AI)研究機関の多くがGPT-3を模倣した独自のモデルを開発してきた。グーグル、フェイスブック、マイクロソフト、そして少数の中国企業が、説得力のあるテキストの生成、人間相手のチャット、質問への回答などが可能なAIを構築した。

こうしたモデルは、大規模なニューラル・ネットワークがベースになっていることから「大規模言語モデル」と呼ばれている。今やAIの主流トレンドとなった大規模言語モデルは、高い言語能力を機械に持たせられるという強みと同時に、AIの弱点をも明らかにした。AIに内在するバイアスや、持続不可能なほど膨大になった計算能力は、特に注目すべき弱点だ。

英国に本拠を置き、「アルファゼロ(AlphaZero)」や「アルファフォールド(AlphaFold)」など、AI分野におけるいくつかの偉業の立役者となってきたディープマインド(DeepMind)はこれまで、大規模言語モデルを開発していないという点で異彩を放つ立場にあった。しかし、そのディープマインドが12月8日に、言語モデルに関する3つの大規模研究を発表し、大規模言語モデルをめぐる議論に加わった。ディープマインドの成果で特筆すべき点は、ひねりを加えたAI、つまりAIに外部記憶装置を取り付けて機能を強化するというアイデアだ。記憶装置には膨大な量のテキストの文節がデータベースとして格納されており、AIはそれをカンニングペーパーのように使って新しい文章を作る。

「リトリーバル・エンハンスド・トランスフォーマー(RETRO:Retrieval-Enhanced Transformer)」と呼ばれるこのAIの性能は、25倍の規模のニューラル・ネットワークを有するモデルに匹敵する。つまり、巨大なモデルの学習に必要な時間とコストを削減できるということだ。ディープマインドの研究者らはさらに、データベースを取り付けたおかげでAIが学習した内容の分析がしやすくなり、バイアスや暴言を取り除くのが容易になるかもしれないと主張している。

「言葉を全部記憶しておくよりも、臨機応変に辞書を引くほうが有利な場合は多いものです。人間と同じですね」と、ディープマインドの大規模言語モデル研究を主導するジャック・ラエは語る。

言語モデルは、文章や会話の中で次に来る言葉を予測することでテキストを生成する。モデルが大規模になるほど、訓練によって世界についての情報をより多く吸収できるよう …

こちらは会員限定の記事です。
メールアドレスの登録で続きを読めます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
人気の記事ランキング
  1. The winners of Innovators under 35 Japan 2024 have been announced MITTRが選ぶ、 日本発U35イノベーター 2024年版
  2. Kids are learning how to make their own little language models 作って学ぶ生成AIモデルの仕組み、MITが子ども向け新アプリ
  3. The race to find new materials with AI needs more data. Meta is giving massive amounts away for free. メタ、材料科学向けの最大規模のデータセットとAIモデルを無償公開
日本発「世界を変える」U35イノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。2024年受賞者決定!授賞式を11/20に開催します。チケット販売中。 世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を随時発信中。

特集ページへ
MITTRが選んだ 世界を変える10大技術 2024年版

「ブレークスルー・テクノロジー10」は、人工知能、生物工学、気候変動、コンピューティングなどの分野における重要な技術的進歩を評価するMITテクノロジーレビューの年次企画だ。2024年に注目すべき10のテクノロジーを紹介しよう。

特集ページへ
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る