生成AIモデルは間違いを犯す。事実を間違えて自信を持ったり、真実の断片を無意味に組み合わせたりすることがある。これらの、いわゆる「幻覚（ハルシネーション）」は、AIモデルが膨大な量の真実の情報で訓練したとしても発生する。
30歳の浅井明里（Akari Asai）にとって、これは大きな問題だ。特に科学研究やソフトウェア開発など、事実が重要な場合にはなおさらだ。解決策は、プロンプトに応じて答えを吐き出すだけの、より大きくて、より大きくなるモデルの作成に集中することをやめることだと彼女は言う。「単一のモノリシックな言語モデルをスケールすることから、拡張された言語モデルを開発することへの変革的な切り替えが必要です」。拡張された言語モデルとは、他のエンティティと相互作用し、自身の出力と行動を分析できるモデルを意味している。
浅井は検索拡張生成（RAG）に取り組んでいる。これは言語モデルが、応答を生成する前にデータストアと呼ばれる保存された参考資料を参照する手法だ。データストアをチェックすることで、モデルが嘘を生成しようとしていることを検出できる。その後、取得した情報を使用して応答を修正できる。
浅井と共著者が2023年に導入した「Self-RAG（セルフRAG）」というフレームワークは、モデルが複数のデータストアの異なる部分と並列に作業して、どれが最も関連性が高いかを決定することで、このアプローチをさらに一歩進めるものだ。Self-RAGは幻覚を完全に防ぐわけではないが、それらを制限しようとすると同時に、機械が百科事典を読み上げているようにならないようにする。彼らのチームのテストから、メタ（Meta）のLlama（ラマ）で訓練されたSelf-RAGは、プレーンなRAGを持つLlamaよりも質問のタイプに応じて10〜25％より正確に短文の質問に答えることができる。RAGなしのLlamaに対する改善はさらに顕著だった。
ワシントン大学で博士号を修了し、2026年にカーネギーメロン大学で助教授に就任する予定の浅井は、ウィキペディアなどの一般的なデータベースよりも優れた事実確認結果をもたらす可能性があるカスタム・データストアも構築している。これまでのところ、彼女と同僚は4500万論文の科学文献用データストアと、2500万文書のコーディング用データストアを構築した。彼女は、このアプローチが、機密性の高い生物医学データでどのように機能するかも探求したいと考えている。
- 人気の記事ランキング
-
- Is carbon removal in trouble? 炭素除去業界に激震、最大顧客のマイクロソフトが購入を一時停止
- NASA is building the first nuclear reactor-powered interplanetary spacecraft. How will it work? 初の原子力推進で火星へ、 NASA「強気すぎる」計画 SR-1はどう動くのか？
- Digging for clues about the North Pole’s past 12万年前は無氷だった？海底22メートルの泥で掘り起こす北極点の謎
- Chinese tech workers are starting to train their AI doubles–and pushing back 「先に同僚を蒸留せよ」 中国テック系労働者に広がる AI自動化の強烈な波
