PR

 東北大学は、人工知能(AI)による記述式答案の自動採点について品質保証する手法を構築した。AIによる採点結果の信頼性を表す尺度「確信度」を導入し、確信度が低い場合は人間が再採点することで全体の採点品質を確保する。AIによる自動採点の実用化に貢献する成果だという。

東北大学のニュースリリース

 国内および英語圏の記述式問題データセットを用いてシミュレーションを実施した。初めに少量の採点済み答案データを基に、目標とする採点品質を実現可能な確信度の下限値を推定する。自動採点時の確信度がその下限値を下回った場合は、人間が再採点を行うことで採点品質を確保する。シミュレーションの結果、今回の手法では人間の採点者間で採点結果の一致率が高い問題ほど、高品質な採点を低コストで実現できることが明らかになったという。

 研究グループによれば、深層学習技術によって記述式答案の自動採点の精度は著しく向上している。しかし、学習データにない新しい表現を含む答案の適切な自動採点は難しく、実用化への大きな課題となっていた。

人間とAIの分担による採点品質の保証(出所:東北大学)
人間とAIの分担による採点品質の保証(出所:東北大学)
[画像のクリックで拡大表示]