2018年にチューリング賞を受賞し、現代の人工知能（AI）の「ゴッドファーザー」の一人とされるモントリオール大学のヨシュア・ベンジオ教授は、AIシステムに安全性を保証する仕組みを組み込むことを目的とした英国政府の資金提供プロジェクトに協力している。

このプロジェクトは「セーフガーデッドAI（Safeguarded AI）」と呼ばれ、重要な領域で利用されるAIシステムの安全性を確認できるAIシステムの構築を目指している。ベンジオ教授は科学ディレクターとして参加し、重要な知見と科学的助言を提供する。プロジェクトは、英国の高等研究発明局（ARIA：Advanced Research and Invention Agency）から今後4年間で5900万ポンドの資金提供を受ける予定だ。ARIAは、画期的な科学研究を資金面から支援することを目的に、英国政府が昨年1月に設立した機関である。

ARIAでセーフガーデッドAIのプログラム主任を務めるデイヴィッド・ダルリンプルによると、セーフガーデッドAIの目標は、現実世界への影響を定量的に保証する、リスク・スコアのような尺度を提供するAIシステムの構築だという。新たなシステムが危害をもたらす可能性を数学的に分析することで、人間の手によるテストを補完する。

プロジェクトは、現実世界を実質的にシミュレートした科学的世界モデルと数学的証明を組み合わせることで、AIの安全性を保証する仕組みを構築することを目指している。証明にはAIによる処理内容の説明が付く予定だ。また、AIモデルによる安全性チェックの正当性は、人間が検証することになるだろう。

ベンジオ教授は、未来のAIシステムが重大な危害を及ぼさないようにすることに貢献したいと語っている。

「私たちは今、霧の中に向かって走っています。そしてその先には崖があるかもしれないのです。崖がどのくらいの距離にあるのか、またはそれがあるのかどうかも分からないので、数年、数十年かかる可能性もあります。状況がどれほど深刻なものになるのかも分かりません。（中略）私たちはその霧を晴らすためのツールを構築し、もし崖があったとしても、足を踏み入れないようにする必要があります」。

科学技術企業は、AIシステムがプログラム通りに動作することを、数学的に保証する手段を持ち合わせていない、とベンジオ教授は付け加える。この信頼性の欠如が、悲惨な結果を招く可能性があるいう。

ダルリンプル主任とベンジオ教授は、高度AIシステム向けの現在存在するリスク軽減手法（AIシステムの欠陥を調査するレッド・チーミングなど）には重大な限界があり、重要なシステムが予期せぬ動作をしないことを保証する頼りにはならないと主張している。

ダルリンプル主任とベンジオ教授は、人間の力よりも数学的な確実さに頼るAIシステムを確立する新たな方法の発見に期待している。このプログラムのビジョンは、さまざまなAIエージェントが抱えるリスクを解き明かし、リスクを低減する役割を担う「ゲートキーパー」AI を構築することだ。このゲートキーパーは、輸送やエネルギーなどの社会に欠かせない分野で稼働するAIエージェントが、人々の期待通りに動作すると保証することになるだろう。早い段階で企業と協力し、AIの安全性を確保するメカニズムがさまざまな業界でどのように役立つか理解するのが狙いだと、ダルリンプル主任は言う。

ベンジオ教授は、先端システムの複雑さを考えれば、AIを保護するには AIを利用するほかに選択肢がないと主張する。「それが唯一の方法です。なぜなら、どこかの時点で、こうしたAIはあまりにも複雑なものになってしまうからです。現時点のAIでさえ、その答えを、人間が理解できるような一連の推論ステップに分解することはできないのです」。

次のステップは、他のAIシステムをチェックできるモデルを実際に構築することであり、セーフガーデッドAIとARIAも、それを実現してAI産業の現状を変えたいと期待している。

ARIAはまた、輸送、通信、サプライ・チェーン、医療研究といった高リスク分野に関わる人々や組織に資金を提供し、AIの安全性メカニズムの恩恵を受けるであろうアプリケーションの構築も支援する。ARIAは申請者に対し、初年度に総額540万ポンド、次年度にさらに820万ポンドを提供する予定。申請期限は10月2日だ。

さらに、非営利組織を通じてセーフガーデッドAIの安全性メカニズムの構築に関心を持つ人々を広く募集している。ARIAはこの組織の設立資金を最大1800 万ポンドと見積もっており、来年初めに資金援助の申請を受け付ける予定だ。

このプログラムでは、様々な分野を網羅できる多様性ある理事会を設けた非営利組織として始めることを模索していると、ダルリンプル主任は言う。信頼も信用もできる形で仕事を遂行するためだ。これはオープンAIが当初目指していたことと似ている。現在の同社の戦略は、製品と利益をより重視するものに変わっている。

この組織の理事会は、最高経営責任者（CEO）に責任を負わせるだけでなく、特定の研究プロジェクトを引き受けるかどうかの判断や、特定の論文やAPIを発表するかどうかの決定にも関与することになると、ダルリンプル主任は付け加えている。

セーフガーデッドAIプロジェクトは、AIの安全性という分野で先駆者の地位を確立するという英国の野望の一部だ。2023年11月、英国は初めてのAIの安全性サミットを主催した。サミットには世界各国の首脳や技術者が集い、テクノロジーを安全に構築する方法について議論した。

資金援助プログラムでは英国在住の申請者が優先されるが、ARIAは英国に来ることに興味がある世界的な才能を求めていると、ダルリンプル主任は語る。ARIAには海外の営利企業への資金提供に関する知的財産管理の仕組みもあり、これによりロイヤリティを国内に還流させることが可能となっている。

AIの安全性に関する国際協力を促進するこのプロジェクトに惹かれたと、ベンジオ教授は語る。ベンジオ教授は、30の国々に加え、EUと国連も関与する、「先進AIの安全性に関する国際科学報告書」（the International Scientific Report on the safety of advanced AI）で議長を務めている。AIの安全性を声高に主張するベンジオ教授は、人工超知能が人類絶滅の危機を招くと警告してきた影響力あるロビイストの1人でもある。

「AIのリスクにどう対処するかという議論を、世界規模で、より幅広い関係者に広げていく必要がある」と、ベンジオ教授は語る。「このプログラムにより、それが実現に向かっています」。

• 11

人気の記事ランキング

1. It’s pretty easy to get DeepSeek to talk dirty 「お堅い」Claude、性的会話に応じやすいAIモデルは？
2. Promotion Call for entries for Innovators Under 35 Japan 2025 「Innovators Under 35 Japan」2025年度候補者募集のお知らせ
3. Google’s new AI will help researchers understand how our genes work グーグルが「アルファゲノム」、遺伝子変異の影響を包括的に予測
4. When AIs bargain, a less advanced agent could cost you 大規模モデルはやっぱり強かった——AIエージェント、交渉結果に差
5. OpenAI can rehabilitate AI models that develop a “bad boy persona” AIモデル「問題児」、わずか100件のデータで更生＝オープンAI