KADOKAWA Technology Review
×
GPT-3に強力ライバル、
1000人が作ったLLMは
AI界の流れを変えるか?
Ms Tech | Envato, Unsplash
人工知能(AI) Insider Online限定
Inside a radical new project to democratize AI

GPT-3に強力ライバル、
1000人が作ったLLMは
AI界の流れを変えるか?

オープンAIの「GPT-3」に匹敵する大規模言語モデルが無料公開された。世界中の1000人以上のボランティア研究者が1年がかりで作成したこのAIモデルは、従来の大規模言語モデルの持つ秘密主義と排他性を排し、倫理的配慮を初期段階から埋め込むことを狙いとしている。 by Melissa Heikkilä2022.08.03

鳴り響く轟音は人工知能(AI)研究界のロックコンサートのようだ。パリ郊外にあるフランス国立科学研究センターのスーパーコンピューティング・センター内では、黒い冷蔵庫のように見える物体が何列にも並び、耳をつんざくような100デシベルの大音量でうなっている。

これは、117日を費やして「BLOOM(ブルーム)」と呼ばれる新しい大規模言語モデル(LLM:large language model)を生み出したスーパー・コンピューターの一部である。BLOOMの開発者たちは、この言語モデルがAIの通常の開発方法を根本的に変えることを期待している。

オープンAI(OpenAI)の「GPT-3」や、グーグルの「LaMDA(ラムダ)」といったより有名な他の大規模言語モデルと異なり、BLOOM(「BigScience Large Open-science Open-access Multilingal Language Model」の略)は、できる限り透明性を持つように設計されている。研究者たちはBLOOMの訓練に用いたデータの詳細や、開発における課題、性能評価の方法について公表している。オープンAIとグーグルはコードを公開しておらず、言語モデルを一般に利用できるようにしていない。外部の研究者は、これらの言語モデルがどのように訓練されているかについてほとんど分かっていない。

7月12日に正式発表されたBLOOMは、1000人のボランティア研究者たちによる「ビッグサイエンス(BigScience)」と呼ばれるプロジェクトで、昨年1年間かけて作られた。このビッグサイエンス・プロジェクトはAIスタートアップであるハギング・フェイス(Hugging Face)が、フランス政府からの資金を使って取りまとめたものだ。研究者たちは、他の先進的なモデルと同等の性能を持ち、誰でも利用できる巨大言語モデルを開発することは、AI開発の文化に長期的な変化をもたらし、世界中の研究者が最先端のAI技術にアクセスできる民主化につながると期待している。

BLOOMの最大の特徴は、アクセスしやすさにある。すでに利用可能になっており、ハギング・フェイスのWebサイトから、誰でも無料でダウンロードして研究に利用できる。ユーザーは言語を選び、レシピや詩を書かせたり、文章を翻訳または要約させたり、プログラミングのコードを書かせたりするタスクをBLOOMに実行させられる。AI開発者はこのモデルを使って、独自のアプリケーションを構築することもできる。

1760億個のパラメーター(入力データを望ましい出力に変換するための変数)を持つが、これはオープンAIのGPT-3の1750億個のパラメーター数よりも多い。ビッグサイエンスによると、BLOOMは同サイズの他モデルと同程度の正確性と有害性を備えるという。スペイン語やアラビア語などの言語でこれほど大規模な言語モデルが作られたのは、BLOOMが初めてである。

しかし、同モデルの開発者でさえ、BLOOMは大規模言語モデルに根深く存在する問題を解決できないと警告する。その問題とは、データガバナンスポリシーやプライバシーポリシーの不足や、人種差別的・性差別的な有害なコンテンツを吐き出すなどといったことである。

公開の場に出す

膨大な量のデータを使って訓練される深層学習アルゴリズムである大規模言語モデルは、AI研究において最も注目されている領域の一つだ。GPT-3やLaMDAのような強力な大規模言語モデルは、人間が書いたかのような文を作成し、オンラインでの情報処理の方法を変える大きな可能性を持っている。これらは、チャットボットや情報の検索、オンラインコンテンツの調整、本の要約、要望に沿った全く新しい文の …

こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
10 Breakthrough Technologies 2024

MITテクノロジーレビューは毎年、世界に真のインパクトを与える有望なテクノロジーを探している。本誌がいま最も重要だと考える進歩を紹介しよう。

記事一覧を見る
気候テック企業15 2023

MITテクノロジーレビューの「気候テック企業15」は、温室効果ガスの排出量を大幅に削減する、あるいは地球温暖化の脅威に対処できる可能性が高い有望な「気候テック企業」の年次リストである。

記事一覧を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る