发行编号:HB20230212C 日期:2023年02月12日 作者:吴权威Power Wu
学习评量数字化可以生成大量评量数据,可利用试题分析工具,更精准、高效地分析学习评量数据,进而优化试题设计质量,提高学习评量与学习诊断分析的效能。
下面以醍摩豆智慧教学平台为例(图1,成都师范银都紫藤小学六年级道德与法治测验),结合教育理论与应用实务,说明使用醍摩豆系统进行学习评量,自动产出学习评量数据之后,如何应用试题分析工具,如图2:评量数据与试题分析工具,包括试题落点分析工具、试题难度分析工具以及试题地位分析工具等。
图1:成都师范银都紫藤小学六年级道德与法治测验
图2:评量数据与试题分析工具
试题落点分析图,是博拉图评量学情分析系统根据稳定度(试题注意系数,Caution Index for items)所绘制的试题落点图,每一个点来代表一道试题。根据学习评量数据,计算出每一道试题的稳定度,数值介于0~1之间,数值越接近零越为稳定,反之则越不稳定。试题落点分析图区分为四个区块,分别是A、A'、B、B'等四区,落在A区的试题,代表试题相当适当,可以用来区分学生的不同,落在A'区的试题,代表试题含有异质成分,需进行局部修正。落在B区的试题,代表试题较为困难,适合区分出高成就学生。落在B'区的试题,代表试题含有严重异质成分,应该删除不用。
以成都师范银都紫藤小学六年级道德与法治测验为例,打开学情分析界面,选择试题分析标签,就会显示该学科的试题落点分析页面(如图3)。
图3:试题落点分析页面
快速查看试题质量:查看试题落点分析图,可以快速掌握这份试卷的试题质量(稳定度),以图3为例,试题稳定度落在A区和A'区,没有出现在B区和B'区的试题,可初步判断这份试卷的整体命题质量比较良好,没有太大问题。
快速连接试题难度分析数据:试题落点分析页面是类似仪表板的交互式页面,只要在试题落点分析图中,点选想要查阅的试题编号或落点,就会自动显示这道试题的试题难度分析页面。
在试题分析页面中,除了试题落点分析外,还包含年级单题得分率统计、试题分析总表、试题得分率表,如图4、5、6。年级单题得分率统计:可以用来比较单一试题在各班级的得分率。
图4:年级单题得分率统计
试题分析总表:可以查看每一道试题的题型、知识点、落点区域、配分、难易度、鉴别度、R1-R6的得分率。
图5:试题分析总表
试题得分率表:可以查看每一道试题的高分组得分率、低分组得分率、全学年得分率、每一班得分率。
图6:试题得分率表
汇出表格功能可以把评量数据下载为Excel表格,以便进一步统计与分析,如图7:试题分析总表汇出Excel表格。
图7:试题分析总表汇出Excel表格
在试题分析页面,点选任一题目编号,或在落点分析图上,点选任一落点,就会自动连接跳转到试题清单与资料分析页面,如图8:试题清单与资料分析页面。
图8:试题清单与资料分析页面
图9:试题之资料分析内容
R1-R6作答曲线分析图,可以补充难易度和鉴别度之不足,呈现从高分组至低分组的答对率变化,如图10:R1-R6作答曲线分析比较图,图10-a呈现上下波动,图10-b呈现下滑趋势,图10-c呈现水平直线。以一个适当、鉴别度高的题目来说,R1-R6的得分率应该会越来越低,同理(如图10-b),若R5的得分率远高于R4(如图10-a),则可能表示试题需要修正。
图10:R1-R6作答曲线分析比较图
再根据上图之试卷题号,制作出三个试题的试题落点分析比较图,如图11,分别落点为A区、A'区和A区。
图11:试题落点分析比较图
透过上述图10、图11的比较示例,以说明交叉运用试题落点分析与R1-R6作答曲线分析这两种一目了然的视觉化工具,来协助试题诊断与分析工作,可以有效提升试题分析的质量与效能。
在醍摩豆云教学平台中,可以选择试卷分析钮(如图12),随时查看试题在双向细目分析表架构蓝图中的评量地位,包括试题知层次和试题知识点,以确定试题想要达到的评量目标(如图13)。
图12:选择试卷分析钮,打开试卷分析页面
图13:双向细目分析表与试卷分析页面
学习评量数字化,可以产出大量评量数据,而藉由上述试题分析工具,包括试题落点分析、试题难度分析和试题地位分析等数据化和可视化的试题分析工具,不但可以大大节省试题分析所花费的时间,更能大大提高试题分析质量。
本文相关链接:
学习评量数字化之十一:学习分析工具应用举例
学习评量数字化之十:试题分析工具应用举例
学习评量数字化之九:分组工具与教学策略
学习评量数字化之八:课程名单与评量数据
学习评量数字化之七:提问思考与脑力激荡(AI辅助文句分析)
学习评量数字化之六:科技互动与教法应用(AI辅助教师增能)
学习评量数字化之五:数据互动之统计图表与教学决策
学习评量数字化之四:全班课堂学习表现数据总表
学习评量数字化之三:素养导向云平台题库与试卷应用
学习评量数字化之二:素养导向学习评量数字化应用举例
学习评量数字化之一:学习评量数字化设计