AIシステムは頻繁に間違いを犯す。メール作成の補助に利用するのであれば重大な問題にはならないかもしれない。しかし、軍事目標に関する情報収集や兵器の運用に用いられる場合、その影響ははるかに深刻である。

こうした用途において、大規模言語モデルにはもう1つ重大な問題がある。侵害に対して脆弱であり、敵対者がシステムを乗っ取り、軍事的意思決定に影響を及ぼす可能性がある、ということだ。

これらの既知の問題にもかかわらず、世界各国の軍隊はAIの活用を拡大している。この現実が、先駆的AI安全研究者であるハイディ・クラーフの現在の研究を強く動機づけている。

34歳のクラーフは、オープンAI（OpenAI）に勤務する以前、原子力発電所や自動運転車向けの従来型安全工学に従事していた。オープンAIでは、Codex（コーデックス）の安全性を評価するための方法論を開発した。想定されるリスクの種類を体系的に分析・評価し、それらを軽減する方策を検討する枠組みである。この方法論はその後、世界各地のAI研究機関で採用されている。

現在、AIナウ（AI Now）研究所の主任AI科学者として、クラーフは特に自律兵器システムにおけるAIの安全性評価に注力している。彼女が分析した各システムはいずれも、従来型兵器や軍事作戦に設定されたリスク許容基準を下回っていた。例えば、防衛システムには90％から99％の信頼性が求められる一方で、米国が試験運用した一部のAI搭載目標認識プログラムは、精度が25％程度にとどまっていた。

この観点から、クラーフは最近、ガザ地区に配備されたAIシステムが民間人犠牲者の増加にどのように寄与しているかを分析した論文を発表した。さらに広い視点では、精度および信頼性の低さ、ならびに国家安全保障上のリスクを理由に、軍は商用AIモデルの使用を全面的に停止すべきだと提言している。

「残念ながら、現在、防衛分野でこれらの評価をしている人たちは、自らの宿題を自分で採点しているようなものです。私は自分の立場を活用して、これらのリスクを公に提示し、人々が理解できる形で共有しようとしています」。

人気の記事ランキング

1. This company claims a battery breakthrough. Now they need to prove it. すべてのパラメーターが矛盾——「出来すぎ」全固体電池は本物か？
2. OpenAI’s “compromise” with the Pentagon is what Anthropic feared アンソロピック排除の裏で進んだオープンAIの軍事契約、その代償は
3. AI is rewiring how the world’s best Go players think 「アルファ碁」から10年、 AIは囲碁から 創造性を奪ったのか
4. How uncrewed narco subs could transform the Colombian drug trade 中には誰もいなかった—— コカイン密輸組織が作った 「自律潜水ドローン」の脅威

• 0