フラッシュ2023年11月24日
-
人工知能(AI)
医学に関するチャットGPTの回答、正答率は文献数と関連
by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]横浜市立大学の研究チームは、米オープンAI(OpenAI)のチャットボット「チャットGPT(ChatGPT)」が医学に関する質問に対して回答する際の正誤を左右する要因を明らかにした。
研究チームは、日本の医師国家試験3年分をチャットGPTに出題し、その正答率と回答の一貫性を集計した。その結果、大規模言語モデル「GPT-3.5」を使った場合(正答率56.4%、回答の一貫性56.5%)よりも、「GPT-4」を使った場合(正答率81.0%、回答の一貫性88.8%)の方が、正答率、回答の一貫性ともに優れていた。
続いて試験問題を出題形式(単肢選択問題/多肢選択問題/計算問題)と出題内容(循環器学、小児科学などの分野)に応じて分類し、正答率に関係する因子を探索した。チャットGPTが、インターネット上の膨大なテキストデータで学習していることから、インターネット上の情報量の指針の一つとして、世界的な学術文献・引用情報データベースであるウェブ・オブ・サイエンス・コア・コレクション(Web of Science Core Collection)に収蔵されたすべての文献数を集計した。その結果、出題内容と正答率は、出題分野における総文献数と有意に関連することが明らかになった。また、出題形式や回答の一貫性も正答率に関連することが分かった。
研究成果は11月3日、インターナショナル・ジャーナル・オブ・メディカル・インフォマティクス(International Journal of Medical Informatics)誌にオンライン掲載された。
(笹田)
-
- 人気の記事ランキング
-
- Inside the race to find GPS alternatives GPSに代わる選択肢を、 地球低軌道で100倍強い 次世代測位システム
- Promotion MITTR Emerging Technology Nite #33 バイブコーディングって何だ? 7/30イベント開催のお知らせ
- Promotion Call for entries for Innovators Under 35 Japan 2025 「Innovators Under 35 Japan」2025年度候補者募集のお知らせ
- Why the US and Europe could lose the race for fusion energy 核融合でも中国が優位に、西側に残された3つの勝機
- Trajectory of U35 Innovators: Yoichi Ochiai 落合陽一:「デジタルネイチャー」の表現者が万博に込めた思い
- What comes next for AI copyright lawsuits? AI著作権訴訟でメタとアンソロピックが初勝利、今後の展開は?