查看原文
其他

刘邦奇等 | 智能技术赋能过程评价:目标、路径与典型场景

刘邦奇 喻彦琨 等 现代教育技术杂志 2024-02-05

摘要:强化过程评价,是深化新时代教育评价改革的重要举措。而利用智能技术进行过程评价数据采集、挖掘教育数据价值、加强反馈与调控,已成为新时代强化过程评价的重要驱动力。基于此,文章在阐述新时代过程评价内涵、特点及存在问题的基础上,首先对智能技术赋能过程评价的作用进行了分析。随后,文章提出智能技术赋能过程评价的目标定位主要包括智能化评价数据获取、智能化评价数据处理、智能化评价反馈调控,并从基础支撑层、平台服务层、场景应用层三个层面阐释了其实践路径。最后,文章从场景应用层的全过程伴随式数据采集、多模态数据诊断分析、实时反馈与调控等三个环节,结合相关典型案例展开了实践探讨。文章的研究可为广大一线教师和研究者理解智能技术赋能过程评价的特点与规律,并运用智能技术强化过程评价、促进教育评价改革与创新发展提供参考。

关键词:智能技术;过程评价;技术赋能;评价反馈

2020年,中共中央、国务院在《深化新时代教育评价改革总体方案》中明确提出要“坚持科学有效,改进结果评价,强化过程评价,探索增值评价,健全综合评价,充分利用信息技术,提高教育评价的科学性、专业性、客观性”[1]。2021年,教育部在《义务教育质量评价指南》《普通高中学校办学质量评价指南》中也进一步指出要“强化过程性评价和发展性评价”[2][3]。可见,过程评价作为教育评价体系的重要组成部分,已成为智能时代评价改革创新的重要突破口。迈入智能时代,大数据、人工智能等智能技术开始延伸至教育教学评价领域,这为更好地实施过程评价、提升评价效果提供了有力支撑。但如何真正发挥智能技术的特点和优势以改进、强化过程评价,依然是当前学界讨论的重点。为此,本研究从过程评价的特点及其存在的问题出发,系统探讨智能技术赋能过程评价的作用、目标定位与实践路径,并对过程评价典型场景中的技术应用进行梳理分析,以期为推进有中国特色的评价改革与创新发展提供参考。


一 过程评价概述

1 过程评价的内涵及特点

过程评价是对评价对象在向终极目标迈进的过程中所处状态进行的价值判断[4],通过强调过程的价值,关注被评价对象习得过程的评估与测量,并使评价诊断和即时反馈贯穿于教学全过程,从而实现以评促学、以评促教的目的。过程评价具有动态性、诊断性、即时性的特点:动态性是指过程评价是与教学过程同时进行的共时性评价,要求随着事物发展的变化与评价目标的调整,对评价指标、内容进行动态调整;诊断性是指利用内容分析、预测分析、系统建模等智能技术,对师生在教学过程中产生的各项实时数据进行客观、科学的诊断分析;即时性是指在教学活动过程中,强调通过即时的评价反馈,使评价对象能够及时了解评价结果,促进自我反思和总结,并能根据发现的问题加以改进和调控。


2 当前过程评价亟待解决的问题

针对传统评价仅关注静态、可量化和浅层次学习效果的弊端,过程评价提倡将师生在教学活动过程中产生的全部信息一并纳入评价范围。但在实施过程中,依然存在不少问题阻碍过程评价的效果达成,主要体现为:①过程数据采集较为单一、分散且粗放。片段式的单一记录,难以精准把握教学活动的整体情况。即使是通过课堂观察量表采集数据,也会由于过程数据片段、零散,最终导致课堂中的特性问题被模糊,使得教师难以达到整体感知课堂教学的目的[5]。②过程评价实践操作难度较大。当前,过程评价多通过制定相关观察量表与标准,或借鉴已有的课堂互动分析系统,对教师课堂评价行为及其效果进行量化分析[6],而多模态数据类型庞杂、评价衡量指标不一、即时评价缺失等问题依然是当前过程评价实施中面临的难题。③过程评价与教学过程融合要求较高。实时评价反馈既是过程评价的重要环节,也是教学与评价融合的必然要求。但是,当前的过程评价不能长周期地收集并记录课程作业、单元练习、课堂活动等多方面的过程数据,并对评价与教学进行统整[7],难以有效地发挥过程评价对教学活动的诊断、调节作用。


综上所述,如何确保评价数据采集完整、采取有效手段降低实践操作难度、及时反馈评价结果和调整教学策略,以最大程度地发挥过程评价的作用,成为了教育工作者实施过程评价亟待解决的问题。而新兴技术在促进教育教学评价方式创新上发挥了重要作用[8],物联网、大数据和人工智能等智能技术的发展为强化过程评价、提升评价效能带来了更多可能,完整的过程数据采集方法、即时的反馈分析工具等可为评价者实施过程评价提升技术支撑能力,为解决上述问题提供了切实可行的解决方案。


二 智能技术赋能过程评价的作用

充分发挥智能技术优势,可以有效挖掘教学活动中的潜在数据价值,为教学过程数据采集、师生行为可视化分析、教学结果的个性化反馈等提供支撑,解决过程评价实施中的难题。本研究结合智能技术在过程评价中的优势与实际应用效果,发现智能技术赋能过程评价的主要作用如下:


1 循证决策数智化

在智能技术的支持下,过程评价的实施可以通过充分获取教育主体在教学活动全过程中的多维度信息,建立相关数据分析模型,以便评价者基于多维证据实施评价活动,从而辅助得出相关结论,摆脱因人的参与而受到的主观经验影响。同时,数据决策在智能技术的支持下还可由机器擅长的数据驱动决策和人类擅长的数据启发决策相互协同完成[9],通过将个人经验判断置于现有的最佳证据范围内,便可依据数据“智慧”,同时结合专业人员的智慧和价值观做出正确的决定[10]。在此基础上,教师对学生的主观感知印象也将转变为基于真实数据的客观评价,从而有效提升教学评价与决策的科学性和客观性。


2 数据采集过程化

应用数据监测分析技术和智能设备,能够有效实现从学校招生、培养规划、课程实施、毕业就业,到教、学、考、评、管各环节及课前、课中、课后全过程的海量数据伴随式采集,覆盖教育教学的各个阶段和环节[11]。通过建立基于教学全过程的数据采集系统,多源、异构的动态生成性数据将被智能地获取与分析。随着产生的行为数据越来越多,数据分析结果的可靠性也会越来越[12],将有效助力评价者打破以往数据分析仅停留在学习行为属性本身而缺乏全过程关联性分析的局面,从而最大限度地挖掘数据价值[13],提高评价的准确性和有效性。


3 数据分析多模化

当前,对教学过程中产生的多模态数据分析多依赖于专家的人工统计标注或基于机器学习迭代完善的算法训练,存在融合深度低、数据间内在关联性不强、难以挖掘内隐性特征等问题,不能准确、全面地评价学习的程度与效果。但在正式学习情境中产生的学习行为数据,大多具有多源异构性、多层关联性、多维互补性等特征[14]。智能技术的应用,能使教学情境中产生的多模态学习行为数据被高效地整合、关联,并通过建模分析后得到表征、融合及反馈,以强化对学习者学习过程和结果的解释与预测,有效解决了过程评价与教学活动融合不足、效果难以发挥等问题。


4 评价反馈即时化

随着智能技术在教育教学中的广泛应用,过程评价数据的实时传送让即时评价反馈成为必然选择。评价反馈是过程评价的重要组成部分,反馈是否及时将直接影响过程评价的应用成效。传统课堂反馈机制缺乏对师生互动、学生学习思维过程的记录,且反馈时间滞后,并不能为师生的教与学提供精准、高效的即时反馈建议。而即时评价反馈可以及时、有效地促进学习者建构知识体系、改进认知策略、优化目标设置、调整学习策略,进而提高学习效果和效率[15]


三 智能技术赋能过程评价

的目标定位与实践路径

大数据、人工智能等技术的发展,为智能化的数据采集、数据建模、可视化分析、个性化反馈等提供了有力支撑[16],但如何真正贯彻《深化新时代教育评价改革总体方案》要求,充分利用智能技术探索过程评价实践,还需要深入具体的应用场景来分析。智能技术赋能在过程评价数据的数智化决策、全过程采集、多模态分析和即时化反馈方面,形成了前所未有的优势,结合过程评价改革在全面获取数据、深度挖掘价值、有效反馈调控的要求,本研究提出了智能技术赋能过程评价的目标定位与实践路径。


1 智能技术赋能过程评价的目标定位

智能技术赋能过程评价的本质是对传统过程评价的突破和创新,它是通过解构、重构形成有别于传统的过程评价新模式[17]。通过智能技术对教学过程中产生的多维数据进行分析与处理,可以为评价应用提供智能化数据采集、分析、诊断、反馈、改进等支撑,其目标定位主要包括:①智能化评价数据获取。过程评价的实施需要过程性数据的支撑,通过综合运用智能传感器、信号处理技术、物联网技术等可搭建过程数据采集所需的物理环境,以实现对教学过程数据的全过程实时采集与汇聚,使过程数据具有连续性、真实性、动态性的特点。②智能化评价数据处理。基于具体的评价问题,评价者可以通过对教学过程中产生的认知、行为、情绪、动机等数据进行多维度的诊断分析,了解学生的学习状况和教师教学过程中存在的问题,并实现对教学活动更全面、系统的剖析与理解[18]。③智能化评价反馈调控。借助智能技术,可对诊断分析后的数据进行可视化结果呈现和实时反馈,教师依据反馈信息来改进教学,最终达到提升课堂教学效果的目的。


2 智能技术赋能过程评价的实践路径

在过程评价实践中,基于软硬件智能基础设施的支撑,可构建智能化过程评价服务平台,通过全过程伴随式数据采集、多模态数据诊断分析、实时反馈与调控等技术应用服务,为智能技术赋能过程评价提供更为有效的实践路径,具体涉及三个层面(如图1所示):①基础支撑层。基础支撑层是过程评价实施的重要基础,由硬件基础设施和软件基础设施构成。其中,硬件基础设施提供过程评价实施的硬件支撑环境,如智能芯片、计算集群、智能传感器可提供基础数据收集、处理、分析等功能服务;而软件基础设施提供实施过程评价的软件支撑环境,如计算框架可提供基础算力、算法模型等功能服务,存储系统可提供数据存储、管理等数据服务等。②平台服务层。平台服务层是智能技术赋能过程评价实施的关键,为场景应用提供智能化评价标准制定、数据获取、数据处理、反馈调控等服务。③场景应用层。场景应用层为过程评价的实施提供基础性、通用性、关键性的技术应用服务——在全过程伴随式数据采集环节,通过原始数据的伴随式采集和实时数据汇聚,可以实现教学数据智能采集、学习行为精准记录、管理数据集中存储等功能,从而为学校的管理决策、教师的教学、学生的学习等提供数据支撑服务;在多模态数据诊断分析环节,借助智能技术对多模态数据进行数据融合与数据分析,能够衡量、诊断学生或教师的能力发展情况,进而辅助评价者解释评价数据并做出相应的结果判断或预测;在实时反馈与调控环节,通过实时传送、实时反馈、实时干预等智能技术应用,能够将数据分析结果以可视化的形式即时反馈、呈现,并实现由单一文本的事后反馈向融合文本、语音、图片、视频等方式的多样化实时反馈转变,进而提供精准化的诊断反馈信息。


图1  智能技术赋能过程评价的实践路径


四 智能技术赋能过程评价的场景应用

智能技术赋能过程评价需在实践中解决关键问题并找到合适的技术应用点,才能真正体现其价值与意义。基于此,本研究从场景应用层的全过程伴随式数据采集、多模态数据诊断分析、实时反馈与调控三个环节,结合相关典型案例,对智能技术赋能过程评价的具体实践展开探讨。


1 全过程伴随式数据采集的技术应用

基于智能技术进行伴随式数据采集可追踪师生教与学的全过程,并给予诊断与反馈,主要涉及以下两大关键场景:①原始数据的伴随式采集。将数据从各个数据源采集后汇聚到数据存储和处理平台,为数据的存储和预处理提供了基本的数据来源,采集的数据主要包括可以表征评价对象心理、行为、生理等多模态的数据。通过平台自主生成、物联感知、智能穿戴等智能手段采集的生理数据与体征数据,可以有效表征评价对象的学习情感、生理和认知[19]。②实时数据汇聚。对采集的原始数据进行必要的规范化处理和实时性传输,包括进行数据清洗、数据变换等一系列处理工作,以提高数据质量,并使之符合数据分析规范要求;之后,按照既定流程,通过数据链,将数据从数据源实时传输到数据中心。全过程伴随式数据采集环节的技术应用举例如表1所示。


表1  全过程伴随式数据采集环节的技术应用举例


智能技术的发展为全过程伴随式数据采集的两大应用场景提供了重要支撑,为解决课堂教学中数据的伴随式采集提供了高效的方法。例如,安徽省合肥市某高级中学利用采集的学生在体育锻炼过程中产生的数据辅助体育教师精准教学,促进了传统体育教学向新型智慧体育教学模式的转变。图2展示了该校高二年级二班某学生完成立定跳远测试后,依托智能技术实时记录的测试成绩、摆臂幅度、屈膝角、关键动作截图、完整测试视频等,可以看出:该学生的立定跳远测试成绩为225.2厘米,测试成绩为及格,但摆臂幅度较小,影响了跳远水平的发挥。系统对学生的立定跳远动作进行分析后,给出了摆臂幅度较小的点评,建议该学生多练习下蹲摆臂动作,调整摆臂幅度接近110°为止;适当减小屈膝角度至90°左右,增加起跳时的爆发力。学生可依据分析点评,在教师的科学指导下及时调整动作,以达到提高立定跳远成绩的目的。


图2  高二年级二班某学生的立定跳远测试结果分析


2 多模态数据诊断分析的技术应用

基于人工智能、数据挖掘、学习分析等智能技术,通过数据挖掘算法、内容分析、预测性分析、系统建模等技术可对采集的多模态数据进行数据融合与数据分析,充分挖掘教学数据间的相关性与因果性,主要涉及以下两大关键场景:①多模态数据融合。在挖掘海量多模态数据的基础上,融合不同的模态数据进行分析,旨在通过多模态数据间的互补学习来增强模型、提取复杂数据中的有用特征,为决策者提供更多的信息,从而提升决策结果的准确率。②多模态数据分析。充分发挥智能技术优势,使用机器学习算法,对文本、语音、图像、视频等不同数据进行分析,实现对学习者特征要素的准确表征。多模态数据诊断分析环节的技术应用举例如表2所示。


表2  多模态数据诊断分析环节的技术应用举例


当前,智能技术支持的多模态数据诊断分析在过程评价实践中得到了越来越广泛的应用。通过多模态数据的记录和生成,教师在课堂教学中可以开展更科学、有效的评价。以丹麦奥尔堡大学的Jacob博士及其研究团队利用多模态数据诊断分析技术对学生协作学习活动开展的研究分析为例[20]:该研究团队通过视频片段、图像、线上学习活动时间轴等多渠道进行学生协作学习的伴随式数据采集,创建了丰富的纵向数据集,并通过匹配转录后的视频文本层级与标准语料库中的数据词典,实现了学习者特征的分类。教师观察视频转录后的话语内容与语音语调,可有效分析学生协作学习的情感表征;而聚焦于学生在协作学习过程中与触摸屏的互动,可以轻松得出学生行为数据背后的原因。通过利用多模态数据实施诊断分析,不仅有效提升了评价效果,而且能助力教师分析问题、原因并及时调整教学策略。


3 实时反馈与调控的技术应用

智能技术的引入,为评价的实时反馈、精准呈现和调整改进等提供了关键的技术支撑。而通过实时反馈与调控的技术应用,能为学校提供教学质量结果反馈、为教师提供学生学习评价结果反馈、为学生提供学习结果建议报告,主要涉及以下三大关键场景:①实时传送。实时传送以网络传输协议为基础,借助高速局域网和移动通信等技术实现各种设备间的无线通信,能够打破时空界限,实时接收评价反馈的信息。②实时反馈。智能可视化技术可将抽象数据图示化,以快速获取直观反馈,既为教学过程中的反馈数据提供了良好的呈现形式,也可指导和拓展学生的系统化思维水平,让教学双方都能得到有效反馈,是进行教学决策时必不可少的辅助手段。③实时干预。通过学习者自身的行为数据分析,利用知识节点路径规划、知识图谱等技术,可自定义学习内容和学习路径,并将最优学习方案推荐给学习者;学习推荐技术能依据学习者的学习情况自动调整学习内容,并对其进行干预、指导;而基于知识图谱的关联技术能够实现领域模型的知识表达,让学习系统具有认知和逻辑能力,从而实现对学习者的个性化学习推荐。实时反馈与调控环节的技术应用举例如表3所示。


表3  实时反馈与调控环节的技术应用举例


在过程评价中应用实时反馈与调控,可帮助教师及时调整教学节奏、学生及时调整学习计划。例如,江苏省连云港市某外国语学校在使用讯飞AI学习机“AI同步精准学系统”的过程中,通过过程评价结果反馈生成个性化知识图谱,帮助学生查漏补缺。以苏科版《数学(八年级)》中“探索三角形全等的条件”一节的学习为例,学生完成推荐试题后,系统会基于大数据、学科知识图谱构建技术,实时反馈学生的知识图谱画像,知识节点规划引擎也会同时引入知识图谱节点之间的拓扑关系,并用不同颜色呈现学习评价结果。学习前知识谱图如图3所示,其中的嘴角向上的表情符号意为“较好”,表示该生较好地掌握了相关知识点;嘴角向下的表情符号意为“较差”,表示该生对相关知识点的掌握情况较差;嘴角持平的表情符号意为“一般”,表示该生对相关知识点的掌握不够深入。系统会结合高频知识点的考察情况,推荐学生首先要攻克的知识点,并按照知识点学习的先后顺序有针对性地推送相关微课视频,同时还可利用预训练过程中形成的含有融合试题难度、特征词、知识点等标签信息的试题表征库,为学生实时推送最优巩固习题。学生完成推荐的学习后,系统会再次生成学情知识图谱,并根据学生的学习情况,为学生重新推荐最佳学习路径;教师也可根据该生的学情知识图谱,针对其薄弱知识点调整教学任务和作业布置,为该生推送合适的习题进行知识巩固。学生完成一轮“AI同步精准学系统”提供的巩固练习和教师精心安排的练习任务后,知识图谱就会发生相应的变化,形成的学习后知识图谱如图4所示,可以看出:学习前学生有6个弱项未解决,学习后该生还有4个弱项未解决,但整体上学生掌握知识点“较好”的情况增加。通过实时反馈与调控,不仅在一定程度上满足了学生个性化学习的需求,也为教师实施精准干预与指导提供了技术支持。


图3  “探索三角形全等的条件”学习前知识图谱


图4  “探索三角形全等的条件”学习后知识图谱


五 总结与展望

当前,在智能技术的支持下,多维度、多层次的教学过程信息能够被整合处理,有效解决了过程评价诊断功能发挥不佳、评价数据不全等问题。过程评价与智能技术的融合应用,正逐渐成为一种新常态[21]。本研究对智能技术赋能过程评价的作用进行了探讨,在明确智能技术赋能过程评价的目标定位与实践路径的同时,详细描述了场景应用层全过程伴随式数据采集、多模态数据诊断分析、实时反馈调控的技术应用,可为未来教育评价场景中实施智能技术支持下的过程评价提供实践参考。


未来,要想使新时代的教育与评价相互呼应[22],还需进一步挖掘智能技术的应用优势、探讨评价场景的多样化真实需求,不断增强评价思维和方式的选择性、灵活性,并提升其对评价改革的适应性,具体可从以下两个方向努力:①借助智能技术持续探索过程评价的多元应用场景,强化过程评价与增值评价的协同应用,让评价既能考虑过程需要也能追踪成就变化,以不断改进评价反馈效果。②以过程评价的探索为牵引,不断推动多元评价的创新应用。新时代教育评价改革的创新途径主要有结果评价、过程评价、增值评价和综合评价,这“四个评价”是一个整体的教育评价体系,是互相联系、互相配合的[23]。因此,需要借助智能技术推动“四个评价”改革创新,加强“四个评价”在不同评价实践场景中的相互配合、有机结合,以不断提升教育评价改革的系统性,打造新型教育评价体系,最终服务于新时代教育高质量内涵式发展。


参考文献

[1]新华社.中共中央 国务院印发《深化新时代教育评价改革总体方案》[OL].

[2]教育部.教育部等六部门关于印发《义务教育质量评价指南》的通知[OL].

[3]教育部.教育部关于印发《普通高中学校办学质量评价指南》的通知[OL].

[4]陶西平.教育评价辞典[M].北京:北京师范大学出版社,1998:100.

[5]李营.课堂观察量表设计中的偏失及改进策略[J].中国教育学刊,2013,(5):64-67.

[6]林洛颖.小学数学教师课堂形成性评价的个案研究[D].上海:华东师范大学,2020:16.

[7]丁琼.形成性评价在小班化教学中的应用[D].上海:华东师范大学,2010:24-25.

[8]杨宗凯.利用信息技术促进教育教学评价改革创新[J].人民教育,2020,(21):30-32.

[9]祝智庭,彭红超,雷云鹤.智能教育:智慧教育的实践路径[J].开放教育研究,2018,(4):13-24、42.

[10]Davies P. What is evidence-based education?[J]. British Journal of Educational Studies, 1999,(2):108-121.

[11]刘邦奇.智能教育的发展形态与实践路径——兼谈智能教育与智慧教育的关系[J].现代教育技术,2019,(10):20-27.

[12]徐舜平,赵庆刚,许健,等.基于数据挖掘的MOOC学习过程监测指标分析——以“电路原理”课程为例[J].现代教育技术,2017,(3):118-125.

[13]王冬青,韩后,邱美玲,等.基于智慧课堂动态生成性数据的交互可视化分析机制研究[J].电化教育研究,2019,(5):90-97.

[14]穆肃,崔萌,黄晓地.全景透视多模态学习分析的数据整合方法[J].现代远程教育研究,2021,(1):26-37、48.

[15]韩后,王冬青.促进有效学习的评价反馈系统及其应用[J].现代教育技术,2015,(2):100-106.

[16]余胜泉.数据赋能的未来教育评价[J].中小学数字化教学,2021,(7):5-10.

[17]刘邦奇,袁婷婷,纪玉超,等.智能技术赋能教育评价:内涵、总体框架与实践路径[J].中国电化教育,2021,(8):16-24.

[18]钟薇,李若晨,马晓玲,等.学习分析技术发展趋向——多模态数据环境下的研究与探索[J].中国远程教育,2018,(11):41-49、79-80.

[19]吴永和,郭胜男,朱丽娟,等.多模态学习融合分析(MLFA)研究:学理阐述、模型样态及与应用路径[J].远程教育杂志,2021,(3):32-41.

[20]Davidsen J, Vanderlinde R. Researchers and teachers learning together and from each other using video‐based multimodal analysis[J]. British Journal of Educational Technology, 2014,(3):451-460.

[21]熊思东.数智时代高等教育新形态[J].教育研究,2020,(5):19-22.

[22]张琪,王丹.智能时代教育评价的意蕴、作用点与实现路径[J].中国远程教育,2021,(2):9-16、76.

[23]顾明远.对深化新时代教育评价改革的几点认识[J].教育测量与评价,2020,(8):3-5、18.


继续滑动看下一个

刘邦奇等 | 智能技术赋能过程评价:目标、路径与典型场景

刘邦奇 喻彦琨 等 现代教育技术杂志
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存