2023 Innovator of the Year: As AI models are released into the wild, Sharon Li wants to ensure they’re safe

AIの暴走防ぐ研究者、「知らないことを知る」安全性組み込む

AIモデルの弱点として、未知の状況に遭遇した際に悲劇的な失敗をすることがある。ウィスコンシン大学のシャロン・リー助教授の研究の狙いは、訓練されていない状況にAIが直面した際の安全性を確保することだ。 by Melissa Heikkilä2023.09.26

人工知能（AI）システムが研究室から現実世界へと導入される中で、そうしたシステムが思いもしない方法で動作し、悲惨な結果をもたらす事態に備える必要が生じている。そうした事態はすでに起こっている。例えば、昨年モスクワでは、7歳の少年がチェスロボットの腕によって指を骨折させられた。ロボットはチェスの駒を動かしている少年の指をつかみ、近くにいた大人がロボットの爪をこじ開けるまで、決して放そうとしなかった。

こうしたことが起こった原因は、ロボットが危害を加えるようにプログラムされていたからではない。ロボットは、少年の指がチェスの駒であると信じ込んでいたのだ。

この出来事は、シャロン・リー（32歳）が防ぎたいと考えている典型例の一つである。ウィスコンシン大学マディソン校で助教授を務めるリーは、「分布外（OOD）検知」と呼ばれるAI安全機能の草分け的存在だ。こうした機能は、訓練されていない状況にAIモデルが直面した際に、行動を慎むべきタイミングを決めるのに役立つとリー助教授は説明する。

リー助教授は、深層ニューラルネットワーク用のOOD検知の最初のアルゴリズムの一つを開発した。それを受け、グーグルはOOD検知を自社製品に組み込むための専門チームを編成した。OOD検知に関するリー助教授の理論解析は昨年、もっとも権威あるAI会議の一つである「NeurIPS（Neural Information Processing Systems、神経情報処理システム）」で、1万を超える論文の中から傑出した研究に選ばれた。

現在はAIの「ゴールドラッシュ」時代を迎えており、テック各社は競い合うように独自のAIモデルを発表している。だが、現行のモデルのほとんどは特定のものを識別するように訓練されており、乱雑で予測できない現実世界で起こりがちな未知の状況に遭遇した際に失敗することも多い。多くのAIトラブルの背後には、自分が「知っている」ものと「知らない」ものを確実に理解できないというAIの弱点がある。

Sharon Yixuan Li working at her computer — SARA STATHAS

リー助教授の研究は、訓練の方法を再考するようにAIコミュニティに促している。「過去50年にわたって実行されてきた伝統的な手法の多くは、実のところ、安全を考慮していません」と同助教授は言う。

リー助教授の手法では、機械学習を用いて不確実性を考慮する。機械学習で未知のデータを世界から抽出し、それに即座に対応できるようなAIモデルを設計するのだ。OOD検知によって、自律自動車が路上で未知の物体に遭遇した際に事故を防いだり、医療AIシステムが新たな疾患を見つける能力を向上できたりする可能性がある。

「こうしたすべての状況において、真に必要なのは、自分が知らないことを判別できる、安全を認識した機械学習モデルなのです」とリー助教授は話す。

こうした手法は、今一番話題のAI技術である、「チャットGPT（ChatGPT）」などの大規模言語モデルにも役立つ可能性がある。こうしたモデルは、しばしば「自信満々の嘘つき」となり、虚偽の内容を事実として提示してしまう。それこそがOOD検知が役に立つ部分だ。訓練データの中に答えがない質問をチャットボットにした場合を考えてみよう。OOD検知を用いたAIモデルは、何かをでっち上げる代わりに回答自体を拒否する。

「リー助教授の研究は機械学習のもっとも根本的な問題の1つに取り組んでいます」。リー助教授の博士号論文の指導をしたコーネル大学のジョン・ホップクロフト教授はそう語る。

リー助教授の研究に対しては、ほかの研究者からも関心が高まっている。「リー助教授がしているのは、ほかの研究者を仕事に取り掛からせることです」とホップクロフト教授は語り、リー教授は「基本的にAI研究の下位分野の1つを創出していますから」と付け加える。

リー助教授は現在、大規模AIモデルにまつわる安全リスクをより深く理解しようとしている。そうしたAIモデルは今、あらゆる新しいオンライン・アプリケーションやプロダクトのエンジンとなっている。そうしたプロダクトを支えるモデルの安全性を高めることで、AIのリスクを軽減したいと同助教授は考えている。

「最終的な目標は、信頼できる、安全な機械学習を担保することです」。

シャロン・リー助教授は、MITテクノロジーレビューの2023年の35歳未満のイノベーターに選ばれた一人である。

人気の記事ランキング

メリッサ・ヘイッキラ [Melissa Heikkilä]米国版 AI担当上級記者: MITテクノロジーレビューの上級記者として、人工知能とそれがどのように社会を変えていくかを取材している。MITテクノロジーレビュー入社以前は『ポリティコ（POLITICO）』でAI政策や政治関連の記事を執筆していた。英エコノミスト誌での勤務、ニュースキャスターとしての経験も持つ。2020年にフォーブス誌の「30 Under 30」（欧州メディア部門）に選出された。