自然言語理解チームの舟山弘晃、佐藤汰亮*、松林優一郎、鈴木潤、水本智也、乾健太郎（チームリーダー）は、AIによる記述式答案の自動採点の実用化における課題解決に向けて、人間の採点者と AI が採点タスクを分担することで、採点品質を保証するための実践的なフレームワークの構築を試み（図１）、このフレームワークにより採点品質を適切にコントロールできることを明らかにしました。
*研究当時在籍
図 1. 人間の採点者と AI の分担による採点品質の保証
本研究は、自動採点を実際の採点現場において導入する上で重要な観点である採点品質の保証を図るための重要な一歩として位置付けられます。本研究で明らかになった知見をもとに、今後自動採点の実用化がさらに進んでいくものと期待されます。
【論文情報】
タイトル: Balancing Cost and Quality: An Exploration of Human-in-the-Loop Frameworks for Automated Short Answer Scoring
著者: Hiroaki Funayama, Tasuku Sato, Yuichiroh Matsubayashi, Tomoya,Mizumoto, Jun Suzuki and Kentaro Inui
掲載誌: The 23rd International Conference on Artificial Intelligence in Education (AIED2022)
DOI: 10.1007/978-3-031-11644-5_38
URL: https://link.springer.com/chapter/10.1007/978-3-031-11644-5_38
本研究成果は、英国ダラム大学で開催された教育に関する人工知能の国際会議The 23rd International Conference on Artificial Intelligence in Education (AIED2022) で採択され、7月27日に発表いたしました。
詳細は東北大学のウエブサイトでご確認ください。
