KADOKAWA Technology Review
×
発表!MITテクノロジーレビューが選ぶ
2022年のイノベーター14人。
【12/15 Summit開催】
GPT-3に強力ライバル、
1000人が作ったLLMは
AI界の流れを変えるか?
Ms Tech | Envato, Unsplash
知性を宿す機械 Insider Online限定
Inside a radical new project to democratize AI

GPT-3に強力ライバル、
1000人が作ったLLMは
AI界の流れを変えるか?

オープンAIの「GPT-3」に匹敵する大規模言語モデルが無料公開された。世界中の1000人以上のボランティア研究者が1年がかりで作成したこのAIモデルは、従来の大規模言語モデルの持つ秘密主義と排他性を排し、倫理的配慮を初期段階から埋め込むことを狙いとしている。 by Melissa Heikkilä2022.08.03

鳴り響く轟音は人工知能(AI)研究界のロックコンサートのようだ。パリ郊外にあるフランス国立科学研究センターのスーパーコンピューティング・センター内では、黒い冷蔵庫のように見える物体が何列にも並び、耳をつんざくような100デシベルの大音量でうなっている。

これは、117日を費やして「BLOOM(ブルーム)」と呼ばれる新しい大規模言語モデル(LLM:large language model)を生み出したスーパー・コンピューターの一部である。BLOOMの開発者たちは、この言語モデルがAIの通常の開発方法を根本的に変えることを期待している。

オープンAI(OpenAI)の「GPT-3」や、グーグルの「LaMDA(ラムダ)」といったより有名な他の大規模言語モデルと異なり、BLOOM(「BigScience Large Open-science Open-access Multilingal Language Model」の略)は、できる限り透明性を持つように設計されている。研究者たちはBLOOMの訓練に用いたデータの詳細や、開発における課題、性能評価の方法について公表している。オープンAIとグーグルはコードを公開しておらず、言語モデルを一般に利用できるようにしていない。外部の研究者は、これらの言語モデルがどのように訓練されているかについてほとんど分かっていない。

7月12日に正式発表されたBLOOMは、1000人のボランティア研究者たちによる「ビッグサイエンス(BigScience)」と呼ばれるプロジェクトで、昨年1年間かけて作られた。このビッグサイエンス・プロジェクトはAIスタートアップであるハギング・フェイス(Hugging Face)が、フランス政府からの資金を使って取りまとめたものだ。研究者たちは、他の先進的なモデルと同等の性能を持ち、誰でも利用できる巨大言語モデルを開発することは、AI開発の文化に長期的な変化をもたらし、世界中の研究者が最先端のAI技術にアクセスできる民主化につながると期待している。

BLOOMの最大の特徴は、アクセスしやすさにある。すでに利用可能になっており、ハギング・フェイスのWebサイトから、誰でも無料でダウンロードして研究に利用できる。ユーザーは言語を選び、レシピや詩を書かせたり、文章を翻訳または要約させたり、プログラミングのコードを書かせたりするタスクをBLOOMに実行させられる。AI開発者はこのモデルを使って、独自のアプリケーションを構築することもできる。

1760億個のパラメーター(入力データを望ましい出力に変換するための変数)を持つが、これはオープンAIのGPT-3の1750億個のパラメーター数よりも多い。ビッグサイエンスによると、BLOOMは同サイズの他モデルと同程度の正確性と有害性を備えるという。スペイン語やアラビア語などの言語でこれほど大規模な言語モデルが作られたのは、BLOOMが初めてである。

しかし、同モデルの開発者でさえ、BLOOMは大規模言語モデルに根深く存在する問題を解決できないと警告する。その問題とは、データガバナンスポリシーやプライバシーポリシーの不足や、人種差別的・性差別的な有害なコンテンツを吐き出すなどといったことである。

公開の場に出す

膨大な量のデータを使って訓練される深層学習アルゴリズムである大規模言語モデルは、AI研究において最も注目されている領域の一つだ。GPT-3やLaMDAのような強力な大規模言語モデルは、人間が書いたかのような文を作成し、オンラインでの情報処理の方法を変える大きな可能性を持っている。これらは、チャットボットや情報の検索、オンラインコンテンツの調整、本の要約、要望に沿った全く新しい文の …

こちらは有料会員限定の記事です。
有料会員になると制限なしにご利用いただけます。
有料会員にはメリットがいっぱい!
  1. 毎月120本以上更新されるオリジナル記事で、人工知能から遺伝子療法まで、先端テクノロジーの最新動向がわかる。
  2. オリジナル記事をテーマ別に再構成したPDFファイル「eムック」を毎月配信。
    重要テーマが押さえられる。
  3. 各分野のキーパーソンを招いたトークイベント、関連セミナーに優待価格でご招待。
日本発「世界を変える」35歳未満のイノベーター

MITテクノロジーレビューが20年以上にわたって開催しているグローバル・アワード「Innovators Under 35 」。世界的な課題解決に取り組み、向こう数十年間の未来を形作る若きイノベーターの発掘を目的とするアワードの日本版の最新情報を発信する。

記事一覧を見る
MITテクノロジーレビュー[日本版] Vol.8
MITテクノロジーレビュー[日本版] Vol.8脱炭素イノベーション

2050年のカーボンニュートラル(炭素中立)の実現に向けて、世界各国で研究開発が加速する脱炭素技術、社会実装が進む気候変動の緩和・適応策などGX(グリーン・トランスフォーメーション)の最新動向を丸ごと1冊取り上げる。

詳細を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る