「撤回論文」もエビデンスに　AIツールの科学利用に課題

一部の人工知能（AI）チャットボットが、撤回された科学論文に基づく欠陥のある研究をもとに質問に回答していることが、最近の研究で明らかになった。MITテクノロジーレビューが確認したこの調査結果は、科学研究を評価するAIツールの信頼性について疑問を提起し、科学者向けのAIツールへの投資を検討している国や産業界の取り組みを複雑化させる可能性がある。

AI検索ツールやチャットボットがリンクや参考文献を捏造することはすでに知られている。しかし、実在する論文に基づく回答であっても、それらの論文が撤回されている場合には誤解を招くおそれがある。「（チャットボットは）実際の論文、実際の資料を使って、あなたに何かを伝えています」。テネシー大学の医学研究者で、最近の研究論文の著者の1人であるウェイクアン・グー教授は述べる。しかし、利用者が回答の内容だけを見て、論文をクリックして撤回されていることを確認しなければ、それは本当に問題だという。

グー教授らのチームは、GPT-4oモデルを利用するオープンAI（OpenAI）のChatGPT（チャットGPT）に、医用画像に関する21の撤回された論文の情報に基づく質問をした。チャットボットの回答は5つのケースで撤回された論文を参照したが、注意を促したのは3つのケースのみだった。他の質問については撤回されていない論文を引用したが、著者らはチャットボットが論文の撤回状況を認識していなかった可能性があると指摘している。8月に発表された別の研究では、別の研究者グループがChatGPT-4o miniを使って、さまざまな科学分野における撤回された低品質な論文217本の質を評価したが、いずれの回答も撤回やその他の懸念について言及していなかった（今年8月にリリースされたGPT-5については、同様の研究は発表されていない）。

一般の人々はAIチャットボットを使って医学的アドバイスを求め、自身の健康状態を診断している。学生や科学者は、既存の科学文献をレビューし論文を要約するために、科学に特化したAIツールをますます使用するようになっている。このような使用は今後も拡大する可能性が高い。例えば、米国国立科学財団（NSF）は今年8月、科学研究用のAIモデル構築に7500万ドルを投資した。

「（ツールが）一般の人々に向けられている場合、撤回を品質指標の一種として使用することは非常に重要です」と、イリノイ大学アーバナ・シャンペ …

人気の記事ランキング

1. A new US phone network for Christians aims to block porn and gender-related content ポルノもLGBTも遮断、キリスト教徒向けMVNOが米国で登場
2. The problem with thinking you’re part Neanderthal あなたの中にいる 「ネアンデルタール人」は 本当に存在するのか？
3. Musk v. Altman week 1: Elon Musk says he was duped, warns AI could kill us all, and admits that xAI distills OpenAI’s models 「オープンAIを蒸留した」マスク対アルトマン第1週、法廷がざわめく
4. Will fusion power get cheap? Don’t count on it. 核融合は本当に安くなるのか？ 楽観論に「待った」をかける新研究