メタ、大規模言語モデル「Llama 2」を無料公開 オープンAIに対抗
メタ（Meta）は新しい大規模言語モデル「Llama 2（ラマ2）」をリリースした。オープンソースとして公開し、無料で利用できる。 by Melissa Heikkilä2023.07.19
メタ（Meta）はオープンソースの人工知能（AI）に全力を注いでいる。7月18日には、同社初となる誰でも無料で利用できる大規模言語モデル「Llama 2（ラマ、Large Language Model Meta AI）」を発表した。
昨年11月にオープンAI（OpenAI）が大人気のAIチャットボット「チャットGPT（ChatGPT）」をリリースして以来、テック企業はその覇権を覆そうと、競って大規模言語モデルをリリースしてきた。メタは出遅れた。競合するマイクロソフトとグーグルがAIチャットボットを発表した2月に、メタは研究者向けに限定した小型版の「LLaMA」を発表した。だがLlama 2をリリースした今、メタは誰でも無料で商用製品を開発できるようにすることで、競争に追いつくことを期待している。
メタは、規模の異なるLlama 2の複数のバージョンや、チャットGPTに似たようなチャットボットに組み込めるバージョンなど、一連のAIモデルを実際にリリースしている。オープンAIのWebサイト上で利用できるチャットGPTとは異なり、Llama 2はメタのローンチ・パートナーであるマイクロソフト・アジュール（Microsoft Azure）、アマゾンWebサービス（AWS）、AIスタートアップのハギング・フェイス（Hugging Face）からダウンロードする必要がある。
「これはAIコミュニティ全体に利益をもたらするもので、クローズドソースかオープンソースのアプローチかを特定の用途に合わせて選べるようになります」。メタの生成AI（ジェネレーティブAI）部門を率いるアフマド・アルダーレ副社長は話す。「私たちにとって、本当に大きな瞬間なのです」。
しかし、まだ多くの注意事項が残っている。MITテクノロジーレビューが独占的に入手したメタの研究論文によると、同社はLlama 2の訓練に使ったデータセットに関する情報を公開しておらず、著作権で保護された作品や個人情報が含まれていないことを保証できない。Llama 2もまた、すべての大規模言語モデルを悩ませている同じ問題、つまり虚偽や攻撃的な言葉を生み出す傾向を抱えている。
アルダーレ副社長によれば、Llama 2を公開し、開発者や企業が使うことで、メタはモデルをより安全で、バイアスがなく、効率的なものにするための重要な知見を得られるという。
スタンフォード大学基盤モデル研究センター（Stanford’s Center for Research on Foundation Models）のパーシー・リャン所長は、Llama 2のような強力なオープンソースモデルは、オープンAIにとってかなりの脅威となると指摘する。同所長はオープンAIの言語モデルの初期バージョン「GPT-3」の競合となるオープンソースの「アルパカ（Alpaca）」を開発した研究チームの一員だった。
「Llama 2はGPT-4ではありません」とリャン所長は言う。メタは研究論文において、現在、Llama 2とオープンAIの最先端AI言語モデルであるGPT-4との間には、まだ大きなパフォーマンス差があることを認めている。「しかし、多くの使用例では、GPT-4は必要ありません」。
Llama 2のようなカスタマイズ性と透明性が高いモデルは、大規模で高性能な独占的なモデルに比べ、企業が製品やサービスをより早く生み出すのに役立つかもしれない、とリャン所長は話す。
「Llama 2がオープンAIの代替となる代表的なオープンソースとなることは、メタにとって大きな勝利となるでしょう」。カリフォルニア大学バークレー校のスティーブ・ウェバー教授は言う。
Llama 2の発表まで
Llama 2の発表にこぎつけるには、前モデルよりも安全性を高め、有害な虚偽情報を吐き出しにくくするため、多くの微調整が必要だったとアルダーレ副社長は話す。
メタには、学ぶべきたくさんの失態がある。科学者を支援する言語モデル「ギャラクティカ（Galactica）」は、わずか3日で公開を中止した。研究目的に限定された最初のLLaMAはネットに流出し、メタが偽情報やハラスメントといったAI言語モデルに関連するリスクを、適切に考慮しているのかどうかを疑問視する政治家から批判が起きた。
このようなミスを繰り返すリスクを軽減するため、メタは有用性と安全性の向上を目的として、さまざまな機械学習手法を組み合わせて適用した。
メタがLlama 2を訓練するアプローチは、通常の生成AIモデルよりも多くの段階を踏んでいる、とハギング・フェイスの研究者サーシャ・ルチョーニ博士は話す。
Llama 2は、前モデルより40％多いデータで訓練された。アルダーレ副社長によれば、訓練データのソースは2つある。ネット上で収集したデータと、人間のアノテーターからのフィードバックに従って、より望ましい振る舞いをするように調整・微調整されたデータセットだ。メタによれば、Llama 2では同社のユーザー・データは使用しておらず、個人情報が多いと分かっているサイトのデータは除外しているという。
にもかかわらず、Llama 2は競合モデルと同様に、依然として攻撃的かつ有害な問題のある言葉を吐き出している。メタは、有害なデータをデータセットから削除しなかったと述べている。有害データを残すことで、Llama 2がヘイト・スピーチをよりよく検出できる可能性があり、有害データを削除すると一部の人口統計層を誤って除外してしまう危険があるからだとしている。
それでも、メタのオープン性へのコミットメントは刺激的なものだとルチョーニ博士は話す。同博士のような研究者がAIモデルのバイアス、倫理、効率性を適切に研究するのに役立つからだ。
Llama 2がオープンソースであることで、外部の研究者や開発者がセキュリティ上の欠陥がないか調べることができ、独占的なモデルよりも安全性が高まる、とアルダーレ副社長は言う。
リャン所長も同意見だ。「いろいろ試したくて興奮しますし、コミュニティにとっても有益だと思います」。
- 人気の記事ランキング
- メリッサ・ヘイッキラ [Melissa Heikkilä]米国版 AI担当上級記者
- MITテクノロジーレビューの上級記者として、人工知能とそれがどのように社会を変えていくかを取材している。MITテクノロジーレビュー入社以前は『ポリティコ（POLITICO）』でAI政策や政治関連の記事を執筆していた。英エコノミスト誌での勤務、ニュースキャスターとしての経験も持つ。2020年にフォーブス誌の「30 Under 30」（欧州メディア部門）に選出された。
