KADOKAWA Technology Review
×
【3/14】MITTR主催「アクセシビリティとテクノロジー 」開催 申込受付中
メタ、大規模言語モデル「Llama 2」を無料公開 オープンAIに対抗
Stephanie Arnett/MITTR | Getty, Envato
Meta’s latest AI model is free for all 

メタ、大規模言語モデル「Llama 2」を無料公開 オープンAIに対抗

メタ(Meta)は新しい大規模言語モデル「Llama 2(ラマ2)」をリリースした。オープンソースとして公開し、無料で利用できる。 by Melissa Heikkilä2023.07.19

メタ(Meta)はオープンソースの人工知能(AI)に全力を注いでいる。7月18日には、同社初となる誰でも無料で利用できる大規模言語モデル「Llama 2(ラマ、Large Language Model Meta AI)」を発表した。

昨年11月にオープンAI(OpenAI)が大人気のAIチャットボット「チャットGPT(ChatGPT)」をリリースして以来、テック企業はその覇権を覆そうと、競って大規模言語モデルをリリースしてきた。メタは出遅れた。競合するマイクロソフトとグーグルがAIチャットボットを発表した2月に、メタは研究者向けに限定した小型版の「LLaMA」を発表した。だがLlama 2をリリースした今、メタは誰でも無料で商用製品を開発できるようにすることで、競争に追いつくことを期待している。

メタは、規模の異なるLlama 2の複数のバージョンや、チャットGPTに似たようなチャットボットに組み込めるバージョンなど、一連のAIモデルを実際にリリースしている。オープンAIのWebサイト上で利用できるチャットGPTとは異なり、Llama 2はメタのローンチ・パートナーであるマイクロソフト・アジュール(Microsoft Azure)、アマゾンWebサービス(AWS)、AIスタートアップのハギング・フェイス(Hugging Face)からダウンロードする必要がある。

「これはAIコミュニティ全体に利益をもたらするもので、クローズドソースかオープンソースのアプローチかを特定の用途に合わせて選べるようになります」。メタの生成AI(ジェネレーティブAI)部門を率いるアフマド・アルダーレ副社長は話す。「私たちにとって、本当に大きな瞬間なのです」。

しかし、まだ多くの注意事項が残っている。MITテクノロジーレビューが独占的に入手したメタの研究論文によると、同社はLlama 2の訓練に使ったデータセットに関する情報を公開しておらず、著作権で保護された作品や個人情報が含まれていないことを保証できない。Llama 2もまた、すべての大規模言語モデルを悩ませている同じ問題、つまり虚偽や攻撃的な言葉を生み出す傾向を抱えている。

アルダーレ副社長によれば、Llama 2を公開し、開発者や企業が使うことで、メタはモデルをより安全で、バイアスがなく、効率的なものにするための重要な知見を得られるという。

スタンフォード大学基盤モデル研究センター(Stanford’s Center for Research on Foundation Models)のパーシー・リャン所長は、Llama 2のような強力なオープンソースモデルは、オープンAIにとってかなりの脅威となると指摘する。同所長はオープンAIの言語モデルの初期バージョン「GPT-3」の競合となるオープンソースの「アルパカ(Alpaca)」を開発した研究チームの一員だった。

「Llama 2はGPT-4ではありません」とリャン所長は言う。メタは研究論文において、現在、Llama 2とオープンAIの最先端AI言語モデルであるGPT-4との間には、まだ大きなパフォーマンス差があることを認めている。「しかし、多くの使用例では、GPT-4は必要ありません」。

Llama 2のようなカスタマイズ性と透明性が高いモデルは、大規模で高性能な独占的なモデルに比べ、企業が製品やサービスをより早く生み出すのに役立つかもしれない、とリャン所長は話す。

「Llama 2がオープンAIの代替となる代表的なオープンソースとなることは、メタにとって大きな勝利となるでしょう」。カリフォルニア大学バークレー校のスティーブ・ウェバー教授は言う。

Llama 2の発表まで

Llama 2の発表にこぎつけるには、前モデルよりも安全性を高め、有害な虚偽情報を吐き出しにくくするため、多くの微調整が必要だったとアルダーレ副社長は話す。

メタには、学ぶべきたくさんの失態がある。科学者を支援する言語モデル「ギャラクティカ(Galactica)」は、わずか3日で公開を中止した。研究目的に限定された最初のLLaMAはネットに流出し、メタが偽情報やハラスメントといったAI言語モデルに関連するリスクを、適切に考慮しているのかどうかを疑問視する政治家から批判が起きた。

このようなミスを繰り返すリスクを軽減するため、メタは有用性と安全性の向上を目的として、さまざまな機械学習手法を組み合わせて適用した。

メタがLlama 2を訓練するアプローチは、通常の生成AIモデルよりも多くの段階を踏んでいる、とハギング・フェイスの研究者サーシャ・ルチョーニ博士は話す。

Llama 2は、前モデルより40%多いデータで訓練された。アルダーレ副社長によれば、訓練データのソースは2つある。ネット上で収集したデータと、人間のアノテーターからのフィードバックに従って、より望ましい振る舞いをするように調整・微調整されたデータセットだ。メタによれば、Llama 2では同社のユーザー・データは使用しておらず、個人情報が多いと分かっているサイトのデータは除外しているという。

にもかかわらず、Llama 2は競合モデルと同様に、依然として攻撃的かつ有害な問題のある言葉を吐き出している。メタは、有害なデータをデータセットから削除しなかったと述べている。有害データを残すことで、Llama 2がヘイト・スピーチをよりよく検出できる可能性があり、有害データを削除すると一部の人口統計層を誤って除外してしまう危険があるからだとしている。

それでも、メタのオープン性へのコミットメントは刺激的なものだとルチョーニ博士は話す。同博士のような研究者がAIモデルのバイアス、倫理、効率性を適切に研究するのに役立つからだ。

Llama 2がオープンソースであることで、外部の研究者や開発者がセキュリティ上の欠陥がないか調べることができ、独占的なモデルよりも安全性が高まる、とアルダーレ副社長は言う。

リャン所長も同意見だ。「いろいろ試したくて興奮しますし、コミュニティにとっても有益だと思います」。

人気の記事ランキング
  1. Watch this robot as it learns to stitch up wounds AIロボットが縫合技術を習得、6針縫うことに成功
  2. Promotion MITTR Emerging Technology Nite #27 MITTR主催「アクセシビリティとテクノロジー 」開催のご案内
  3. OpenAI teases an amazing new generative video model called Sora 動画でも生成革命、オープンAIが新モデル「Sora」を発表
  4. People are worried that AI will take everyone’s jobs. We’ve been here before. 生成AIは雇用を奪うのか? MIT学長が書いた 85年前の記事に学べること
メリッサ・ヘイッキラ [Melissa Heikkilä]米国版 AI担当上級記者
MITテクノロジーレビューの上級記者として、人工知能とそれがどのように社会を変えていくかを取材している。MITテクノロジーレビュー入社以前は『ポリティコ(POLITICO)』でAI政策や政治関連の記事を執筆していた。英エコノミスト誌での勤務、ニュースキャスターとしての経験も持つ。2020年にフォーブス誌の「30 Under 30」(欧州メディア部門)に選出された。
10 Breakthrough Technologies 2024

MITテクノロジーレビューは毎年、世界に真のインパクトを与える有望なテクノロジーを探している。本誌がいま最も重要だと考える進歩を紹介しよう。

記事一覧を見る
人気の記事ランキング
  1. Watch this robot as it learns to stitch up wounds AIロボットが縫合技術を習得、6針縫うことに成功
  2. Promotion MITTR Emerging Technology Nite #27 MITTR主催「アクセシビリティとテクノロジー 」開催のご案内
  3. OpenAI teases an amazing new generative video model called Sora 動画でも生成革命、オープンAIが新モデル「Sora」を発表
  4. People are worried that AI will take everyone’s jobs. We’ve been here before. 生成AIは雇用を奪うのか? MIT学長が書いた 85年前の記事に学べること
気候テック企業15 2023

MITテクノロジーレビューの「気候テック企業15」は、温室効果ガスの排出量を大幅に削減する、あるいは地球温暖化の脅威に対処できる可能性が高い有望な「気候テック企業」の年次リストである。

記事一覧を見る
フォローしてください重要なテクノロジーとイノベーションのニュースをSNSやメールで受け取る