引言
21世纪以来,教育信息化已经成为计算机融合传统教育领域而形成的一个重要的研究方向,这也预示着智能在线教育时代的到来。事实上,智能教育的推广早已引起了信息技术领域巨头们的注意。例如,2013年6月,三星集团在美国教育技术展览会上展示了“三星智能教育学校”,苹果公司也一直在推广苹果平板电脑(iPad)自助主导性学习法和授课方式。可以看出,工业界致力于探索各类智能教育平台和教学产品,为学生学习提供更加便利的服务。与此同时,如何应用人工智能技术促进教育智能化、信息化,尤其是面向学生的认知诊断和行为分析,也得到了学术界的广泛关注。2010年KDD Cup竞赛1首次基于学生在线做题记录,以学生学习成绩(认知能力)预测为任务,向全球来自教育学、计算机科学的研究者发起了挑战,引发了学者的探索热情。随后,KDD Cup竞赛2于2015年再一次基于清华大学学堂在线大规模开放式网络课程(Massive Open Online Courses, MOOC)平台3,发起了针对学生在线学习退课预测的竞赛任务。由此可见,面向学生学习行为的教育分析已成为国内外学术界和工业界研究者共同关注的重要课题。
教育技术的发展历程
事实上,我国教育技术的发展和变革从未停歇,其发展经历了几个主要阶段[1]:
第一个阶段是以黑板和粉笔为标志的传统教育技术。它的出现为以课堂教室为载体的线下教学模式提供了便利,在相当长的时间内发挥着举足轻重的作用。
19世纪末20世纪初,在浙江嘉兴进行的千字课教学实验中,首次使用了幻灯机进行教学,揭开了中国教育信息化的序幕,打破了“一块黑板,一盒粉笔”的传统教育模式,也标志着我国教育技术的发展进入了以“幻灯、投影、无线电”为载体的,被称为“电化教育”多媒体技术的第二个阶段[2]。20世纪八九十年代,伴随着全国电教系统的改革,诸如电视机、计算机、投影仪等新一批电化设备也进一步融入学生的基础教育,大大改善并提高了我国的教育水平。然而,由于受到人数、规模的限制,传统教学大多依赖于以班级和课堂为载体的线下“教师-学生”的教育模式,所有学生的学习内容一般由教师统一准备。
20世纪末,伴随着互联网技术的兴起,信息化教育技术走入日常教学过程,教育网和教学城域网在各校搭建,网络教学模式开始被探索并影响着传统教育技术的发展。进入21世纪,人们希望能够发挥在线网络的优势,打破传统受地域限制的课堂教育模式,探索并开发了各类在线学习系统,其中以智能教辅系统(Intelligent Tutoring Systems, ITS)[3]和MOOC[4]最为典型。在智能教辅系统中,学生能够自主进行在线学习(练习),而系统能够为学生提供及时的学习反馈。例如,学生在线做题过程中,系统可以实时给予反馈,如告知学生是否做对、是否需要提示等。而在MOOC上,学生能够足不出户地学习各类在线课程,并且可以与其他学生进行互动和交流。
在新型教育模式的发展下,学生不再以寻找或接受通用的教育资源为唯一需求。对于学生而言,想要继续提高学习水平,不得不面临一个“信息爆炸”的现实难题,那就是如何从浩如烟海的各类教育资源中快速发掘出适合自己的一小部分资源来有效完善个人的知识结构。为此,人们开始将数据分析和人工智能技术融入智能学习系统中,让计算机尝试深入理解学生的认知状态和学习能力,自动化地从学生学习记录中构建学生画像,真正能够做到如同私人教师一般为学生提供个性化的学习服务。
个性化教育
智能教育希望给教师、学生等提供更好的教育服务。随着在线学习系统记录的学生学习数据的数据量越来越大,如何做到针对学生的个性化教育是当前在线学习系统一个重要的研究和应用问题。简言之,学生的个性化教育是基于学生当前的学习状态而实行有针对性的智能教育的教学模式。在这样的模式下,每个学生都应该被视为不同的个体,拥有适合自己的学习规划。个性化教育与教育心理学中所提出的“因材施教”的理念相吻合,它的提出推动了各领域的研究者将教育心理学、认知心理学和计算机科学等技术进行融合,发展各种面向学生个性化学习的教育分析技术[5, 6]。
图1 个性化教育学习流程图
让在线学习系统实现个性化教育模式具有现实意义。对于学生而言,可以利用计算机及时掌握自己的知识学习状态,从而实现学业预警,进行有针对性的练习。对于教师而言,借助计算机的分析能力,一方面,可以从班级学生能力分析的共性结果中发现教育教学中的关键点,避免重复教学,提高效率;另一方面,可以通过个别学生能力分析的特性结果识别出典型学生,从而可以进行有针对性的辅导。一种可行的个性化教育流程如图1所示。首先,系统基于学生学习(如答题)记录和资源标注(如试题-知识点标注)所产生的海量数据,对学生进行认知能力分析,理解学生的认知状态,生成学习能力的分析结果,并以报表形式反馈给学生;然后,基于认知诊断得到的学生能力,系统会对学生进行有针对性的学业辅导,应用到诸如教学资源推荐(如协同学习中的学友推荐、试题推荐等)、学习规划等不同的场景中,从而帮助学生提高学习效率。在整个流程中,如何挖掘和分析学生个性化学习中所体现的知识认知能力是一个核心问题。
认知诊断理论
为了对学生的知识认知水平进行全面的分析,来自教育心理学的研究者提出了一个教育评价体系——认知诊断评价(Cognitive Diagnosis Assessment, CDA),在经过了长时间的学术研究与实践以后,目前已形成为一套较为完备的认知诊断理论[7]。它基于认知心理学、统计学和计算机科学,通过对学生的测试练习结果进行建模分析,并且进一步引入所测试题与知识结构的关联关系,从而对学生的认知状态进行诊断,定量地考察学生的个体差异和知识认知水平。
认知诊断理论起源于20世纪50年代,其中最早的认知诊断模型(Cognitive Diagnosis Model, CDM)由丹麦统计学家格奥尔格·拉施(Georg Rasch)和美国心理统计学家弗雷德里克·洛德(Frederic M. Lord)提出[7]。根据“测试试题-知识结构”的关系类型与“学生-知识”的掌握类型,常用的认知诊断模型可以分为单维连续型模型和多维离散型模型。这里的“维数”指的是学生的能力数目(或试题所关联的知识点、技能数目),而“离散”、“连续”则对应于通过该模型诊断后的学生能力值是离散型的(非0即1),还是连续型的(例如,0.1, 0.2, 0.3, ……)。
单维连续型模型
在单维连续型模型中,常用的一类模型是项目反应原理(Item Response Theory, IRT)[8]。它假设学生在试题测试中的作答结果服从独立同分布,将学生的知识状态建模为一维连续的能力值(即把学生各方面的能力综合到一个值),并结合所测试题自身的因素(区分度、难度、猜测度等)对学生进行诊断评估,其评估函数通常被称为项目反应函数,形式如式(1)所示:
具体地,式(1)通过评估学生j答对测试题i(即Xij=1)的概率来诊断学生j的认知能力值,而ai, bi, ci则是表示所测试题i自身因素的参数,分别为试题区分度、难度、猜测度。然而,在实际应用中,学者发现,由于测试题考察范围(如考察的知识点)的不同,导致使用传统的IRT模型所得到的单一维度的学生认知能力难以刻画学生在不同知识维度下的技能掌握情况。因此,学者又提出多维IRT模型,如补偿型多维IRT模型MIRT-C和非补偿型多维IRT模型MIRT-NC,它们均可诊断学生多维知识技能的知识状态能力,是IRT模型在实际应用中的扩展[8]。
多维离散型模型
图2 试题和知识点关联的例子
表1 试题-知识点关联Q矩阵表
表2 学生-知识点掌握矩阵示例
多维离散型模型中,应用较为广泛的是确定型输入噪音与门(Deterministic Input, Noisy And gate, DINA)模型[9]。DINA模型认为,试题是由显式的知识点所描述,并将此类对应关系使用试题-知识点关联Q矩阵表示。通过这种映射表示方法,DINA模型进一步对学生的知识状态做了有确定含义的补充。图2展示了智学网(zhixue.com)的一道试题及其关联的“不等式和绝对值不等式”知识点;表1是一个典型的Q矩阵示例,它明确标识了试题i1关联知识点k1,而试题i2关联知识点k1和k2。与IRT模型不同,通过结合学生作答记录和Q矩阵,DINA模型将学生的能力描述为在多维且具有实际含义的知识点上的离散型掌握矩阵。表2所示的是两个学生的知识点掌握矩阵示例。它表明,学生j1掌握了知识点k1和k3,而学生j2则掌握了知识点k1, k2和k4。DINA模型在对学生的认知能力进行建模时,也同时考虑了学生的“失误”和“猜测”等心理因素。总结起来,在一次具有K个知识技能考察的测试中,学生j答对测试题i的概率可以在DINA模型中表示为:
其中,参数gi和si分别表示试题i上的猜测和失误因素。表示学生j对于试题i的掌握程度,它由学生-知识点掌握向量和试题-知识点关联向量qi共同影响。可以看出,在DINA模型中,假设只有当学生j掌握了试题i所关联的所有知识点k时(即学习到的应当为1),学生j才可能正确作答试题i(=1)。相较于IRT模型,DINA模型通过引入试题-知识点关联Q矩阵,不仅将学生的单维认知能力扩散至多维知识掌握状态,还为知识掌握向量的各个维度赋予了实际含义(知识技能),其诊断结果具有很强的可解释性。
模糊型认知诊断分析框架
图3 四层FuzzyCDF框架图
图4 FuzzyCDF与传统DINA的诊断结果对比
近年来,随着大数据分析挖掘方法的发展,越来越多的认知诊断模型(认知心理学的相关理论)开始与数据挖掘算法相结合[10]。笔者经过研究,改善了传统认知诊断模型仅基于小样本、且要求用于评估分析的测试试题为非对即错的客观题的局限性,提出了一个面向学生个性化学习的模糊型认知诊断分析框架(Fuzzy Cognitive Diagnosis Framework, FuzzyCDF)[11](见图3)。在此框架中,同时考虑了客观题和主观题两种题型的技能关联模式,并将学生测试作答的过程形式化建模成一个四层的生成模型。第一层是学生自身的潜在特性(能力),它是影响学生技能掌握程度的先验。第二层是学生知识状态(熟练程度),它由学生潜在特性和IRT理论中的试题参数共同决定。第三层是学生试题掌握程度(潜在的正确作答概率),这里可以分别考虑客观题和主观题两种测试题型所关联的技能掌握模式(主观题上的技能掌握模式满足教育学“补偿型”的假设,在客观题上的掌握模式满足“连接型”的假设),并结合Q矩阵和模糊系统理论,生成学生对试题的潜在掌握情况(用模糊并和模糊交的运算进行建模)。第四层是学生知识作答(观察到的试题得分结果)的生成,它进一步考虑了传统认知心理学中的“失误”和“猜测”因素。不仅如此,相对于传统DINA模型仅能诊断生成学生离散化(非0即1)知识状态的分析结果,FuzzyCDF可以进一步将学生诊断结果扩展成具有更多信息量的连续能力值(0~1的连续值),使得结果具有更强的扩展性和可解释性。图4利用极坐标图的形式分别展示了FuzzyCDF和DINA的认知诊断结果对比,可以看出,对于知识点“去分母”,FuzzyCDF将该学生知识点掌握程度(掌握程度为0.77)概率化。这种概率化的诊断结果对于面向学生个性化学习的诸多应用(如试题推荐)能起到较好的作用。
基于认知能力分析的应用案例
认知诊断理论对于学生认知心理的分析和学习能力的刻画具有很强的可解释性[8]。在教育技术的研究和应用过程中,参数的可解释性是非常重要的一项技术指标。例如,在实际应用过程中,诊断结果的可解释性有助于教师针对学生的薄弱知识点开展更深入、准确的指导。基于学生的认知能力的分析结果,笔者探索了如何利用数据挖掘方法进一步提升多个智能教育应用场景的学生个性化学习效果,如学生学习资源推荐和学生学习路径规划等。
结合学生认知状态的个性化试题推荐
学生往往需要不断进行资源练习以巩固学习到的知识,这里一个核心的任务是在线学习系统如何基于学生当前的学习状态(知识点掌握情况)为学生推荐合适的练习题(试题)。
在通常的教育教学过程中,为了完成该任务,主要采用教师布置作业练习和学生学习教辅资料两种方式。然而,伴随着在线教育网站和题库系统的广泛应用,庞大的练习资源库使得这种人工经验式的方法难以自动化地完成学生个性化的试题筛选和推荐。近年来,有学者利用数据挖掘算法探索了一种基于学生练习得分预测的试题推荐方法[12],将学生的练习结果映射成“学生-知识掌握”和“试题-知识关联”两个低秩矩阵,通过预测学生在未知练习题上的成绩,选择合适的题目进行推荐。更进一步,有学者引入时间因素的影响,采用张量分解的方式预测学生得分[13]。这一类方法基于协同过滤的思想对学生学习共性进行建模,很好地解决了人工经验式方法耗时耗力的问题,可以进行智能的学生试题推荐。然而,它们在推荐结果可解释性上存在着一些不足,即难以向学生说明推荐某一试题的原因(例如,是否因为学生对哪一个知识点掌握不足?),因此在实际应用中受到一定的限制。
图5 结合认知能力结果的学生试题推荐框架
笔者尝试将学生的认知状态个性融入传统数据挖掘算法中,以增强推荐结果的可靠性和可解释性[14]。试题推荐框架如图5所示,主要包括数据输入、学生认知诊断、学生得分预测和试题推荐4个阶段。该框架首先根据学生答题数据记录,利用认知诊断分析获得学生知识认知状态。然后,将学生诊断结果作为先验知识应用到得分预测的概率矩阵分解算法中,在考虑学生群体之间学习共性的同时,加入了被推荐学生个人的学习状态个性。最后,根据试题的难度范围,筛选出适合目标学生当前学习状态的试题,形成待推荐试题集,并向学生进行推荐。例如,在学习成绩的拔高阶段,学生可能需要针对难度较高的试题进行练习,以提升薄弱知识点的掌握程度;而在学习的基础巩固阶段,则需要作答中低难度(简单)的试题,对知识点进行巩固。与此同时,该框架还可以向学生自动解释被推荐题目所关联的知识点情况(见图6)。
图6 结合认知能力结果的学生试题推荐效果图
结合学生认知状态的自适应学习系统
自适应学习的概念最早于20世纪80年代被提出,自诞生之时起就得到了国内外研究者的重视[15]。它通常是指给学生提供相应的学习环境、实例或平台,通过学习者自身在学习中发现总结,最终形成理论并能自主解决问题的学习方式。自适应学习可以看作是个性化教育的一种实际应用模式,它在被提出的初期,主要由教师参与和主导,他们需要及时调整学习内容,以满足学生不断变化的学习需求。如今,随着计算机技术和互联网的发展,研究者不断探索利用线上的软件或平台作为教学辅助工具,以便进行学生分析。
总的来说,自适应学习系统要求计算机能够及时发现在线学生的学习状态,从而及时调整适合学生的学习内容,以保证学习的高效性和合理性[15]。个性化试题推荐即是自适应学习系统中的一个功能点。相比较而言,国外自适应学习系统的发展较为成熟,如Knewton就是美国一个典型的个性化教育初创公司开发的产品[16]。针对学生学习,Knewton形成了一套以自动资源内容评估(评估系统内如试题、视频等各类学习资源的质量)、自适应诊断技术(即个性化预测学生能力水平和潜力水平等)以及推荐功能(即告诉学生下一步最好学什么)为核心的学习服务系统。Knewton已覆盖了120个国家,曾被《快公司》(Fast Company)杂志评为全球大数据领域最具创新力的十大公司之一。
受到中国的教育教学模式等因素的影响,国内公司在自适应学习系统的开发探索上大部分处于萌芽状态,目前仍以系统资源构建和学生分析为主要目标,难以向实际的学生教学场景中渗透。为了探索国内K12教育(小学到高中的12年教育)与自适应学习模式相结合的可能性,科大讯飞公司的智学网系统也集成了一套可以实现自适应学习的线上学习模块,并率先与合肥等地的初高中学校进行合作试点,取得了一定的成效。该系统接收学生的学习记录,构造认知诊断模型,精准地进行学生画像,诊断学生的认知能力,从而自适应地产生并推荐合适的学习资源,并通过学生的学习反馈进一步优化学生画像,最终形成一个“学习-诊断-推荐-反馈-学习”的闭环结构。而且,学生可以实时查看自己的状态,做到及时的学情预警。
其他面向学生行为分析的研究
除了面向学生个性化学习的认知能力分析,学者们还借鉴和结合更多的教育心理学理论,开展了诸多具有实际意义的研究,典型工作包括群组学生的协同学习研究和学生知识传播建模等。
群组学生的协同学习研究 协同学习是教育学研究的重要课题,目的是希望通过对学生进行合理的划分,以产生学习小组,从而让组内学生的能力得到提升。基于此,阿格拉沃尔(Agrawal) 等人结合聚类的相关技术,基于学生学习能力,将相似学生进行分组[17]。而刘玉苹等人结合学生学习的实际特点,提出学生分组应满足“优势互补”的思想,基于学生的多维知识状态,设计了一种面向学生学习收益最大化的分组目标,为协同学习中的群组学生划分提供了一个新的思路[18]。
学生知识传播研究 随着MOOC的不断发展,学生的学习不再局限于课堂的教学和练习,参与在线学习论坛也成为他们获取知识的途径之一。北京大学蒋卓轩等基于学生在MOOC论坛中的发帖和跟帖记录,构造了基于学生学习讨论的社交圈,并以此研究了学生间的知识传播问题,以帮助寻找具有影响力的(或代表性的)学生,并据此为在线系统提供相应的服务(如节省教师回帖时间、加速知识传播等)[19]。
除此之外,研究者还关注了学生“负责”态度与其职业选择的关系[20],学生“拖延”等心理对在校表现的影响[21,23],学生“猜测”偏好对在线学习行为的影响[22]等。
展望
信息技术的迅猛发展,一方面使得各式各样的教育信息数据库和在线教育系统层出不穷,积累了海量的教与学数据,引发了众多的智能教育(如个性化学习)应用需求;另一方面,提供了良好的契机和条件,让教育心理学、认知心理学等与计算机科学紧密结合,从而设计出更有效的模型、方法和应用系统来进一步改善和提高学生的学习效果。伴随着数据和应用场景的累积,笔者预测,面向个性化学习的学生认知能力分析研究工作将会在诸多方面不断产生技术革新,例如:
1.影响学生认知的多维因素建模。众所周知,影响学生学习和决策过程的原因有很多,例如,传统的教育心理学已经发现了“粗心”、“猜测”、“情绪”、“拖延”等诸多因素。如何通过人工智能、数据挖掘技术将这些复杂、不确定的影响因素进行准确建模,突破传统认知诊断模型基于小样本或单因素等分析挖掘的局限,是一个非常有价值的研究方向。
2.时序化学生建模。当前的研究工作普遍是对单次测试数据进行分析,较少利用“学生多次连续考试”的场景进行时序化学生建模。即对于学生多次连续的作答记录和反馈数据,尚缺乏动态更新的学生画像和时序化的认知诊断,因此较难考虑学生技能掌握程度随时间的演化趋势。
3.跨学科的知识迁移学习分析。学生的知识掌握状态时刻处于变化之中,且存在不同学科的技能和知识的转移现象,如数学较好的学生可能在物理、化学等理科科目的学习中也会更得心应手。因此,利用迁移学习寻找学生在不同学科学习中的共有模式、原有的知识结构对新的学习的影响模式等,对于学生认知分析和个性化学习具有重要的意义。 ■
脚注:
1 参见http://www.kdd.org/kdd-cup/view/kdd-cup-2010-student-performance-evaluation。
2 参见https://biendata.com/competition/kddcup2015/。
参考文献
[1]傅钢善. 教育技术发展轨迹探讨[J]. 电化教育研究, 2005(9):22-26.
[2]南国农. 从视听教育到信息化教育——我国电化教育25年[J]. 中国电化教育, 2003(9):22-25.
[3]Murray T. Authoring Intelligent Tutoring Systems: An analysis of the state of the art[C]// Proceedings of International Journal of Artificial Intelligence in Education (IJAIED). 1999: 98-129.
[4] Breslow L, Pritchard D E, Deboer J, et al. Studying Learning in the Worldwide Classroom Research into edX's First MOOC[J]. Research & Practice in Assessment, 2013, 8:13-25.
[5]冯建军. 论个性化教育的理念[J]. 教育科学, 2004, 20(2):11-14.
[6] Hong C M, Chen C M, Chang M H, et al. Intelligent Web-based Tutoring System with Personalized Learning Path Guidance[J]. Computers & Education, 2008, 51(2):787-814.
[7] Leighton J, Gierl M, eds. Cognitive diagnostic assessment for education: Theory and applications[M]. New York, USA: Cambridge University Press, 2007.
[8] Di Bello L V, Roussos L A, Stout W. 31A Review of Cognitively Diagnostic Assessment and a Summary of Psychometric Models[J]. Handbook of Statistics, 2006, 26(06):979-1030.
[9]de la Torre J. DINA model and parameter estimation: A didactic[J]. Journal of Educational and Behavioral Statistics, 2009, 34(1):115-130.
[10] de la Torre J, Douglas J A. Higher-order latent trait models for cognitive diagnosis[J]. Psychometrika, 2004, 69(3):333-353.
[11] Wu R, Liu Q, Liu Y, et al. Cognitive modelling for predicting examinee performance[C]// Proceedings of International Conference on Artificial Intelligence. AAAI Press, 2015:1017-1024.
[12]Thai-Nghe N, Drumond L, Krohn-Grimberghe A, et al. Recommender system for predicting student performance[J]. Procedia Computer Science, 2010, 1(2):2811-2819.
[13] Thai-Nghe N, Drumond L, Horvath T, et al. Factorization techniques for predicting student performance. Educational Recommender Systems and Technologies: Practices and Challenges. IGI Globel, 2011: 129-153.
[14] 朱天宇, 黄振亚, 陈恩红, 等. 基于认知诊断的个性化试题推荐方法[J].计算机学报, 2017, 40(1): 176-191.
[15] Brusilovsky P, Peylo C. Adaptive and intelligent web-based educational systems[J]. International Journal of Artificial Intelligence in Education (IJAIED), 2003(13): 159-172.
[16] Oxman, Steven, William Wong, and D. V. X. Innovations. White paper: Adaptive learning systems. Integrated Education Solutions (2014).
[17] Agrawal R, Golshan B, Terzi E. Grouping students in educational settings[C]//Proceedings of ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York: ACM Press, 2014:1017-1026.
[18] Liu Y, Liu Q, Wu R, et al. Collaborative Learning Team Formation: A Cognitive Modeling Perspective[C]//Proceedings of the 21st International Conference on Database Systems for Advanced Applications (DASFAA'2016). Springer, 2016: 383-400.
[19] Jiang Z, Zhang Y, Liu C, et al. Influence Analysis by Heterogeneous Network in MOOC Forums: What Can We Discover?[C]//Proceedings of the 8th International Educational Data Mining. 2015: 242-249.
[20]Dudley N M, Orvis K A, Lebiecki J E, et al. A meta-analytic investigation of conscientiousness in the prediction of job performance: Examining the intercorrelations and the incremental validity of narrow traits[J]. Journal of Applied Psychology, 2006, 91(1): 40-57.
[21] Steel P. The nature of procrastination: a meta-analytic and theoretical review of quintessential self-regulatory failure[J]. Psychological Bulletin, 2007, 133(1): 65-94.
[22] Downs J S, Holbrook M B, Sheng S, et al. Are your participants gaming the system?:screening mechanical turk workers[C]//Proceedings of International Conference on Human Factors in Computing Systems.New York: ACM Press, 2010:2399-2402.
[23] Lian D, Liu Q, Zhu W, et al. Mutual Reinforcement of Academic Performance Prediction and Library Book Recommendation[C]//Proceedings of the 6th IEEE International Conference on Data Mining(ICDM 2016). IEEE, 2016: 1023-1028.
所有评论仅代表网友意见