KADOKAWA Technology Review
×
【1/31まで】ひと月あたり1000円。
お得に購読できるキャンペーン実施中!
ディープマインドが言語モデル「RETRO」発表、訓練コストを大幅削減
Ms Tech | Getty
知性を宿す機械 無料会員限定
DeepMind says its new language model can beat others 25 times its size

ディープマインドが言語モデル「RETRO」発表、訓練コストを大幅削減

自然言語処理におけるAI研究の主流となっている大規模言語モデルには、訓練に膨大な計算能力を必要とするという欠点がある、ディープマインドは外部メモリーを辞書として活用することで、訓練に要するコストを大幅に下げられるモデルを発表した。 by Will Douglas Heaven2021.12.13

オープンAI(OpenAI)が言語モデルの「GPT-3」を公開してからの2年間に、著名な人工知能(AI)研究機関の多くがGPT-3を模倣した独自のモデルを開発してきた。グーグル、フェイスブック、マイクロソフト、そして少数の中国企業が、説得力のあるテキストの生成、人間相手のチャット、質問への回答などが可能なAIを構築した。

こうしたモデルは、大規模なニューラル・ネットワークがベースになっていることから「大規模言語モデル」と呼ばれている。今やAIの主流トレンドとなった大規模言語モデルは、高い言語能力を機械に持たせられるという強みと同時に、AIの弱点をも明らかにした。AIに内在するバイアスや、持続不可能なほど膨大になった計算能力は、特に注目すべき弱点だ。

英国に本拠を置き、「アルファゼロ(AlphaZero)」や「アルファフォールド(AlphaFold)」など、AI分野におけるいくつかの偉業の立役者となってきたディープマインド(DeepMind)はこれまで、大規模言語モデルを開発していないという点で異彩を放つ立場にあった。しかし、そのディープマインドが12月8日に、言語モデルに関する3つの大規模研究を発表し、大規模言語モデルをめぐる議論に加わった。ディープマインドの成果で特筆すべき点は、ひねりを加えたAI、つまりAIに外部記憶装置を取り付けて機能を強化するというアイデアだ。記憶装置には膨大な量のテキストの文節がデータベースとして格納されており、AIはそれをカンニングペーパーのように使って新しい文章を作る。

「リトリーバル・エンハンスド・トランスフォーマー(RETRO:Retrieval-Enhanced Transformer)」と呼ばれるこのAIの性能は、25倍の規模のニューラル・ネットワークを有するモデルに匹敵する。つまり、巨大なモデルの学習に必要な時間とコストを削減できるということだ。ディープマインドの研究者らはさらに、データベースを取り付けたおかげでAIが学習した内容の分析がしやすくなり、バイアスや暴言を取り除くのが容易になるかもしれないと主張している。

「言葉を全部記憶しておくよりも、臨機応変に辞書を引くほうが有利な場合は多いものです。人間と同じですね」と、ディープマインドの大規模言語モデル研究を主導するジャック・ラエは語る。

言語モデルは、文章や会話の中で次に来る言葉を予測することでテキストを生成する。モデルが大規模になるほど、訓練によって世界についての情報をより多く吸収できるよう …

こちらは会員限定の記事です。
メールアドレスの登録で続きを読めます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
購読キャンペーン実施中
こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
購読キャンペーン実施中
日本発「世界を変える」35歳未満のイノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を発信する。

記事一覧を見る
MITテクノロジーレビュー[日本版] Vol.5
MITテクノロジーレビュー[日本版] Vol.5Cities Issue

新型コロナのパンデミックによって激変した都市生活は、ポストコロナでどう変わるのか? 都市部への人口集中が世界で加速する中、環境、災害、貧困といった負の側面をテクノロジーは解決できるのか? 多様な人々が集まり、化学反応が起きるイノベーションの集積地としての役割を都市は今後も果たし続けるのか? 世界の豊富な事例と識者への取材を通して、新しい都市の未来像を描く。

詳細を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る