ここ数週間、法廷におけるAIをめぐるニュースが相次いでいる。あおり運転で亡くなった被害者の家族が、故人のAIアバターを作成し、被害の影響を示すために法廷で提示したという話を耳にしたかもしれない（これは米国で初の事例である可能性がある）。しかし、法律の専門家によれば、これよりもはるかに重大な問題が持ち上がっているという。AIによる幻覚（ハルシネーション）が、法的文書に次々と現れ始めているのだ。そして、それが裁判官たちの怒りを買いつつある。以下に紹介する3つの事例は、今後AIを活用する弁護士が増える中で、私たちが目にすることになるであろう問題の一端を示している。

数週間前、米国カリフォルニア州のマイケル・ウィルナー判事は、ある弁護士らが提出した訴訟文書に記載された一連の主張に関心を持った。判事は、引用されていた文書を確認しようとしたが、それらは実在しなかった。詳細を求められた法律事務所は、概要を再提出したが、そこには最初の文書よりもさらに多くの誤りが含まれていた。ウィルナー判事は弁護士らに宣誓証言を命じ、どのような経緯で誤りが生じたのか説明させた。その過程で、一流の法律事務所であるエリス・ジョージ（Ellis George）の弁護士が、虚偽の情報を生成した文書を作成する際、法律特化型のAIモデルに加えて、グーグル・ジェミニ（Google Gemini）を使用していたことが明らかになった。5月6日に提出された書類に詳述されているように、判事はこの法律事務所に3万1000ドルの罰金を科した。

先週、カリフォルニア州の別の判事が、今度はレコード会社が著作権侵害でAI企業アンソロピック（Anthropic）を提訴した裁判において、法廷文書に含まれた別の幻覚を見つけた。アンソロピック側の弁護士が、同社のAIモデル「クロード（Claude）」に法律文書の引用元リストの作成を依頼したところ、クロードは誤ったタイトルと著者名を提示した。アンソロピックの弁護士は、文書をレビューした関係者全員がその誤りを見落としていたことを認めた。

最後に、そしておそらく最も憂慮すべきは、イスラエルで進行中の裁判だ。。警察がマネー・ロンダリングの容疑で個人を逮捕した後、イスラエルの検察官は、証拠として個人の携帯電話を差し押さえる許可を裁判官に求める要求を提出した。しかし、その文書には存在しない法律の条文が引用されていた。これを受けて、被告側弁護士はAIの幻覚が含まれていると主張した。イスラエルのニュースメディアによると、検察官はこれを認め、裁判官から厳しく叱責されたという。

これらの事例が示しているのは深刻な問題である。裁判所は、正確で信頼できる引用に裏打ちされた文書を前提に審理をしている。しかしAIモデルは、その2つの要件を満たすことにしばしば失敗している。時間を節約したい弁護士たちがAIを導入しているにもかかわらず、である。

今のところ、こうした誤りは発見されているが、近い将来、裁判官の判断がAIによって作られた虚偽の情報に影響され、誰もそれに気づかない、という事態が起きるのも想像に難くない。

私は、カナダ・ウォータールー大学のコンピューターサイエンス学部とカナダ・ヨーク大学のオズグッド・ホール・ロー・スクールで教鞭を執り、生成AIが法廷にもたらす問題について早くから批判的な声を上げてきたモーラ・グロスマン教授に話を聞いた。グロスマン教授は、2023年に最初の幻覚事例が現れた時に、この問題について記事を書いた人物である。同教授は、弁護士が裁判所に提出するものを精査することを義務付ける裁判所の既存のルールと、それらの事件が引き起こす悪評が相まって、この問題に歯止めがかかるだろうと考えていたと述べた。しかし現実には、そうなってはいない。

「幻覚は減っているようには見えません。むしろ増えているように思えます」。しかも、これは名もなき地方法律事務所に限られた一過性の問題ではないという。著名な弁護士でさえ、AIを使って重大かつ恥ずかしい誤りを犯しているのだ。またグロスマン教授は、こうした誤りが、弁護士自身が書いていない文書、例えば専門家の意見書などにも広がりつつあることを懸念している（2023年12月にはスタンフォード大学教授が、自身の証言にAIによる誤りを含めていたことを認めた）。

私はグロスマン教授に、正直少し驚いていると伝えた。弁護士というのは、他の職業以上に言葉に厳密で、正確な表現を選ぶことにこだわる人たちだ。それなのに、なぜ多くの弁護士がこのような間違いを見逃してしまうのだろうか？

「弁護士には2つの陣営があります。ひとつは、AIに対して恐怖心を抱き、まったく使おうとしない人たち。そしてもうひとつは、早期導入者たちです。彼らは時間に追われていたり、文書作成を助けてくれる同僚がいなかったりして、テクノロジーに頼ろうとする。そして成果物をチェックする際に、必ずしも徹底した確認をしていません」。

言葉を精査することを職業とし、高度な能力を持つ弁護士たちでさえ、AIによって引き起こされる間違いを犯し続けているという事実は、私たちがこの技術にどのように向き合っているかを浮き彫りにする。AIは間違いを犯すと繰り返し言われているが、言語モデルは少し魔法のようにも感じられる。複雑な質問を入力すると、思慮深く知的な返答のように聞こえるものが返ってくる。時間が経つにつれ、AIモデルには権威の装いをまとうようになる。私たちはそれらを信頼してしまうのだ。

「大規模言語モデルの回答は非常に流ちょうであるため、私たちは正確であると無意識に思い込んでしまうのです」とグロスマン教授は言う。「権威あるように聞こえるからこそ、私たちは疑念を持たず信頼してしまう」。弁護士は通常、若手弁護士やインターンの作成した文書を厳しく精査するが、なぜかAIにはその懐疑心を向けないと彼女は指摘する。

チャットGPT（ChatGPT）がおよそ3年前に登場して以来、この問題については知られていたが、解決策はほとんど進歩していない。「AIの出力を無条件に信じるな。そして検証せよ」というのが相変わらずの教訓である。しかし、AIが多くのツールに組み込まれていく中で、この基本的な欠陥に対する対応としては、あまりにも心もとないと感じる。

幻覚は大規模言語モデルの構造に内在する問題である。それにもかかわらず、法律業界向けの生成AIツールが次々と登場し、「正確性を保証する」と謳っている。トムソン・ロイターのAIツール「ウエストロー・プレシジョン（Westlaw Precision）」のサイトには「調査の正確性と完全性に自信を持ってください」と書かれている。また、同社の「コカウンセル（CoCounsel）」のサイトには、AIは「信頼できるコンテンツに裏打ちされている」とされている。だが、エリス・ジョージ法律事務所が3万1000ドルの罰金を科されるのを防ぐことはできなかった。

私は、AIを過剰に信頼してしまう人々に対して、次第に同情を覚えるようになっている。なぜなら、我々は今、AIが非常に強力で、核兵器のように扱うべきだと開発者自身が語る時代に生きているからだ。AIモデルは、人類がこれまでに記録したほとんどすべての言葉から学習し、我々のオンライン生活に浸透している。AIを無条件で信じるなというのであれば、開発企業はもっと頻繁にそのリスクを注意喚起すべきではないか。

• 19

人気の記事ランキング

1. Inside the tedious effort to tally AI’s energy appetite 動画生成は別次元、思ったより深刻だったAIの電力問題
2. Promotion Call for entries for Innovators Under 35 Japan 2025 「Innovators Under 35 Japan」2025年度候補者募集のお知らせ
3. IBM aims to build the world’s first large-scale, error-corrected quantum computer by 2028 IBM、世界初の大規模誤り訂正量子コンピューター　28年実現へ
4. What’s next for AI and math 数学オリンピックで「人間超え」のAIは数学者になれるか？
5. What is vibe coding, exactly? バイブコーディングとは何か？ AIに「委ねる」プログラミング新手法