フラッシュ2022年9月4日

• 記述式答案の採点、AIと人間の「分担」で効率化＝東北大など

  by MITテクノロジーレビュー編集部 [MIT Technology Review Japan]

  東北大学などの研究グループは、記述式答案の採点を人工知能（AI）と人間の採点者が分担するフレームワークを構築した。大学や高校の入試などで記述式答案が増加傾向にあるものの、採点には時間がかかることから、AIによる自動採点の実用化が期待されている。ただ、記述式答案には学習データにはない新しい表現が含まれる場合があることから、予期せぬ採点ミスが発生する可能性がある。

  研究グループはAIによる採点結果の信頼性を示す「確信度」に着目。個々の答案に対して自動採点の確信度を確認し、低い場合は人間の採点者が再び採点するようにした。具体的には、少量の採点済み答案データをもとに、希望する採点品質を実現するための確信度の下限を推定してから、実際の自動採点の際に確信度が下限値を下回った場合に人間が再採点する。研究グループが、日本国内と英語圏それぞれの記述式問題のデータセットを使って、考案した方式が期待通りの効果を示すかを確認したところ、実現可能との結果を得た。

  研究成果は7月27日〜31日に英国ダラム大学で開催された国際学会「教育におけるAIに関する国際会議（AIED2022）」で採択され、27日に発表された。

  （笹田）

  • 2

• 人気の記事ランキング

  1. A Google Gemini model now has a “dial” to adjust how much it reasons 推論モデルは「考えすぎ」、グーグルがGeminiに調整機能
  2. What is vibe coding, exactly? バイブコーディングとは何か？ AIに「委ねる」プログラミング新手法
  3. Phase two of military AI has arrived 米軍で導入進む「戦場のLLM」、未解決の3つの課題とは？
  4. Anthropic can now track the bizarre inner workings of a large language model 大規模言語モデルは内部で 何をやっているのか？ 覗いて分かった奇妙な回路