フラッシュ2023年11月24日

• 人工知能（AI）

  医学に関するチャットGPTの回答、正答率は文献数と関連

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  横浜市立大学の研究チームは、米オープンAI（OpenAI）のチャットボット「チャットGPT（ChatGPT）」が医学に関する質問に対して回答する際の正誤を左右する要因を明らかにした。

  研究チームは、日本の医師国家試験3年分をチャットGPTに出題し、その正答率と回答の一貫性を集計した。その結果、大規模言語モデル「GPT-3.5」を使った場合（正答率56.4％、回答の一貫性56.5％）よりも、「GPT-4」を使った場合（正答率81.0％、回答の一貫性88.8％）の方が、正答率、回答の一貫性ともに優れていた。

  続いて試験問題を出題形式（単肢選択問題／多肢選択問題／計算問題）と出題内容（循環器学、小児科学などの分野）に応じて分類し、正答率に関係する因子を探索した。チャットGPTが、インターネット上の膨大なテキストデータで学習していることから、インターネット上の情報量の指針の一つとして、世界的な学術文献・引用情報データベースであるウェブ・オブ・サイエンス・コア・コレクション（Web of Science Core Collection）に収蔵されたすべての文献数を集計した。その結果、出題内容と正答率は、出題分野における総文献数と有意に関連することが明らかになった。また、出題形式や回答の一貫性も正答率に関連することが分かった。

  研究成果は11月3日、インターナショナル・ジャーナル・オブ・メディカル・インフォマティクス（International Journal of Medical Informatics）誌にオンライン掲載された。

  （笹田）

  • 2

• 人気の記事ランキング

  1. Quantum physicists have shrunk and “de-censored” DeepSeek R1 量子技術でDeepSeekを55%小型化、「検閲解除」にも成功
  2. Promotion Innovators Under 35 Japan Summit 2025 2025年のイノベーターが集結「IU35 Summit」参加者募集
  3. Google’s new Gemini 3 “vibe-codes” responses and comes with its own agent グーグルが「Gemini 3」発表、質問に応じて回答形式もAIが判断
  4. How to help friends and family dig out of a conspiracy theory black hole 家族が陰謀論にハマったら： 専門家が語る、 5つの現実的アプローチ
  5. What is the chance your plane will be hit by space debris? 空からゴミが降ってくる—— 衛星10万基時代のリスク、 航空への影響は？【解説】