1、多模态数据赋彩学习投入测评新发展张靖晗许卓昕(湖南科技大学 教育学院湖南 湘潭)摘要:学习投入作为衡量学习者成功与否的重要指标、影响学习者学习绩效的关键因素受到专家学者的广泛关注 如何对学习投入进行合理有效测评是当前教育领域不可回避的现实课题 通过对传统测评方式梳理发现其极易产生“路灯效应”存在分析信度及效度不准确等弊端 本研究以多模态数据为切入点提出多模态数据赋彩学习投入测评新机制包括多模态数据信息采集、关系挖掘、融合应用三个层面多维解析学习投入测评逻辑机理助力突破学习投入测评现实困境以推动学习投入测评新发展关键词:多模态数据学习投入测评赋彩方式中图分类号:文献标志码:文章编号:()收稿日期
2、:作者简介:张靖晗()女山东临沂人硕士研究生在读研究方向为教育大数据许卓昕()女山东东营人硕士研究生在读研究方向为劳动教育 ():.:随着教育理论与主体性教学改革的开展人们对“学习本质”的认识逐渐加深学习有效性作为教育教学领域研究的核心问题受到了专家学者的广泛关注 有意义学习的进行需要持续的投入这一论断已得到教育研究者、实践者的普遍认同提高学习者的学习投入度是实现主体性教育目标的出发点与落脚点 作为“学习者实际表现的主动驱动力量”是衡量学习者是否取得成功的重要指标及影响学业绩效的关键因素学习投入已成为当前领域重点关注的研究议题 学习投入是指学习者在学习过程中身体和心理的双重投入已有大量研究表明
3、学习投入与学习者的学习满意度、学习倦怠及学习者未来成就等存在较高相关性对学习者的学第 卷第 期四川职业技术学院学报 年.习投入度进行测评能够对学习者的学习行为进行有效判断对学习者的后续学习进行干预与斧正 近些年来国内外专家学者对学习投入的概念、理论体系、框架设计等方面展开相关研究与分析但对学习投入的情境性指标体系与测评方法的探究仍较为匮乏 学习投入具有连续性、动态性等复杂的结构特征故学习投入无法直接进行测评与量化需借助其他方法辅助分析 迄今为止国内外对学习投入测评方法的研究仍停留在自我报告与编码等传统分析阶段该测评方式受制于主观因素存在主观性偏差 因此本研究以多模态数据为研究切入点对学习投入的
4、概念、传统测评方法等进行梳理在此基础上提出多模态数据赋彩学习投入的发展路径推进学习投入研究新进展以期为教育研究者提供启示与借鉴一、学习投入测评脉络梳理(一)学习投入概念演进“学习投入”一词由“投入”演变而来辞海将“投入”解释为“置身其中放进去全身心做一 件 事”包 含 积 极 付 出 之 意 年.在高等教育学生学习参与的发展理论一文中首次提出了“学习投入”这一概念 美 国 学 者 将 此 概 念 引 入 高 等 教 育研究学习投入概念界定由最初单一维度逐渐向多维度拓展实现由量到质再到质量并重的演变 学习投入的研究起源于学习者的学习时长对学习者学业成绩的影响 世纪 年代 提出“任务时间”概念指出
5、学习者投入与学业成果呈正比例关系进而开创了学习投入应用于教育领域的先河受其影响早期对学习投入的研究仅考虑行为投入单一维度重点关注学习者的学习时长、出勤率、回帖数量等能够直接反映学习者学业成果的指标 上世纪 年代后学习投入逐渐成为教育工作者的重要研究议题 年 提出“参与认同模式”将学习 投 入 划 分 为 行 为 投 入 与 情 感 投 入 两 个 维度 等同样将学习投入模型认定为行为与情感的组合 从行为投入与认知投入两个层面构建了学习投入二维框架 随着对学习投入理论的不断挖掘与延伸 年 等在此基础上提出三维概念框架认为学习投入除行为与情感层面的投入外还包含认知投入 年又将其拓展为行为、情感、认
6、知、社交四维度 学习投入是个复杂、多元概念更多学者开始重视学习者的努力程度、自我需求等要素在学习投入中的重要作用与努力、情感相关的心理投资是一种实质性的投入只有全身心投入学习才能充分体现学习投入的质量(二)学习投入测评发展现状如何对学习者学习投入精准测评是智能教育领域重点关注的研究议题测评方法是学习者投入测评的重中之重反映学习者学习状态表征学习者参与情况 通过对国内外主流测评方法进行梳理与比较可以发现目前测评方法包括自我报告、体验抽样、文本分析、日志分析、生理测量等(如表 所示)表 学习投入测评方法及弊端测评方法弊端自我报告主观性强、无法获取动态数据等体验抽样样本量小、操作繁琐等文本分析文本特
7、征难提取、语义差距大等日志分析工作量大、复杂度高、缺乏对内在行为挖掘等生理测量成本较高、操作困难、指标可解释性待考究等.自我报告自我报告法也称量表测试法 典型的自我报告量表呈现出多个陈述并给予不同程度的选项要求被试对自身情况进行判定 在国外学习投入测评方法应用最为广泛已形成多类成熟、具有影响力的自我报告量表如美国印第安纳大学 设 计 的 全 美 大 学 生 学 习 性 投 入 调 查 量 表、在工作投入量表 基础上形成的 量表等 该方法虽能在短时间内获取大量数据但极易受到其他因素干扰如主观性强、选项程度难以判定、回应风格不同等导致学习者对自身状态的评估与基于表现的证据并不相符 此外存在即时性数
8、据、过程性数据无法获取的局限性因此补齐调查结果准确度短板问题亟待解决张靖晗许卓昕多模态数据赋彩学习投入测评新发展.体验抽样体验抽样法源于心理学与社会学领域也被称为经验取样法是指被试在自然情境下在随机时间内对同一问卷或量表进行重复作答作为高频率跟踪问卷调查的深度研究方法旨在了解被试的实时体验 有助于描述被试情感、认知等心理或学习状态动态变化过程具备回忆偏差小、生态效度高等优点 体验抽样虽详实记录了相关变化但不可避免地对被试正常学习生活带来影响受各方面条件限制体验抽样样本量较少且花费较大同样对于多密度数据的收集周期等问题需进一步讨论与完善.文本分析文本分析法是一种定量分析研究范式源于信息处理领域
9、文本寓意具有可拆性多数研究通过对被试发布的相关文本进行关键词提取以充 分 呈 现 文 本 自 身 的 内 涵 与 外 延 为 根 本 目的根据其词意、词频、语境、情感、意象等相关要素对文本进行深度解读挖掘被试潜在特征数据区分其积极与消极、正面与负面态度实现文本突破用以探讨被试传递的态度信号对学习过程的影响 但也存在文本特征难提取、不同语义差距大、文本与文本间关联关系不易判断、规模化应用实现困难等局限性.日志分析日志分析也是学习投入测评经典方法之一日志是一个广泛概念在计算机系统中任何程序都可能输出日志每条日志通常代表用户的一次访问行为 学习日志则是指被试在虚拟网络学习空间中页面访问量、访问时间、
10、停留时间等学习活动输出的数据空间平台将其以可视化形式表征 日志格式与数据生成结果千变万化逻辑算法复杂分析工作量大技术分析准确性待提升且仅能表征学生外显行为特征对情感等深层次内在表现关注较少.生理测量随着认知神经科学领域的发展借助生理传感器对学习者学习状态进行采集逐渐成为学习投入测评方法新研究取向多导生理记录仪等可穿戴设备、非侵入传感设备解析学习者生理活动得到更具价值的洞见如 认为个体的皮电水平在工作状态下超出放松状态一倍以此为依据判断学习者学习投入状态 尝试获取学习者多种外周生理数据对其投入状态与情绪特征进行预测 生理测量方法具有客观性、准确性等优点信度较高但目前仍处于探索阶段设备成本较高、测
11、量需专业人员合作完成操作技术较为复杂且各项指标的意义解释差距较大并未形成统一意见整体来看目前学习投入测评仍以传统方法为主测评方法的进步局限于对传统方法的迭代未能突破传统测评方法的藩篱亟需一种创新性测评方法为学习投入测评提供新思路 多模态数据更能帮助研究者突破当前现实困境捕捉学习者更多潜能提升测评有效性是学习投入测评重要发展趋向二、多模态数据赋彩学习投入测评运行机制虽然事物能够以单一符号形式存在但综合文本、图像等多种社会符号的事物能够更大程度地表征其存在样态人更是综合视觉、听觉、嗅觉等多感官通道实现与外界环境的交互并在大脑中进行神经成像最终实现对事物的完整感知由于事物的存在方式、人的感知方式、人
12、工智能学习的多模态特质我们较难通过单一获取方式感知理解某一事物完整特性实现对事物全方位、多层次理解因此要形成对事物的深度理解仅获取单一模态数据远远不够且易形成“路灯效应”降低对事物把握的准确性因此我们需结合多模态数据融合分析以形成对事物完整的意义建构 多模态数据的获取使得数据获取方式由“快照式”转向“航拍式”由间歇性刻画走向持续性刻画有利于改善单模态数据信息量不足、数据浅薄等问题旨在精准了解学习者学习全貌支持教与学的开展为学习投入测评带来了新的发展机遇 多模态数据赋彩学习投入测评对提高测评分析精确度发挥重要支撑作用其运行路径包括多模态数据信息采集、多模态数据关系挖掘、多模态数据融合应用三部分(
13、如图 所示)图 多模态数据赋彩学习投入测评运行机制(一)借助教育场景导向采集多模态数据第 卷第 期四川职业技术学院学报 年.信息学习投入测评是对学习者学习状态的洞察其准确性依赖于高质量多模态数据采集数据的多源互补性是驱动学习投入精准测评相关研究开展的重要前提条件 通过前述对传统测评方法的分析发现其分析“清晰度、分辨率”较低近年来人工智能前沿领域技术的成熟为挖掘教育过程潜在规律、解释认知加工机制等研究开展带来海量数据支持根据多模态学习数据全息性特征数据采集必须反映学习者的全部学习信息在操作层面上要求全面、全程采集数据 目前已有多项研究证实多模态数据采集对学习投入测评发挥重要作用 当前学习过程中多
14、模态数据来源环境复杂、数据结构多样包含结构化数据与非结构化数据等数据类型蕴含极大潜在价值 本研究从当前研究现状出发在穆肃教授提出的五类多模态数据 数字空间数据、物理空间数据、生理体征数据、心理测量数据、环境场景数据的基础上进行概括分析结合学习情境数据引入实时流数据采集器从学习体征、学习情境以及数字空间层面获取多模态数据满足异构数 据 互 通 以 提 升 模 态 数 据 的 整 体 性 与 全面性.学习体征数据学习体征数据主要包括外显行为数据以及内隐生理数据两个方面 外显数据主要依赖学习者面部表情、音量、声调、身体朝向、眼神接触、肢体动作等外显行为序列 世纪教育研究受到笛卡尔“身心二元论”的影响
15、陷入“重认知轻情感”局面但情感等内隐生理活动由植物性神经系统控制只有破除主观意识壁垒才能真实诊断学习者生理状态、感知其学习状态 神经科学领域的发展使得内隐生理数据获取向生物学、认知科学层面迈进借助眼动仪、多导生理仪对学习者的眼动、脑电、皮电、心率、呼吸率、血氧、血流量、激素分泌等多种生理数据进行获取构成内在心理数据 王雪将眼动追踪实验置于完整的教学系统中借助眼动轨迹分析学习者对视觉材料的加工程度量化学习者的信息加工过程 通过皮肤电反应、心率变异性有效测量对学习者的认知努力、情绪唤醒状态进行分析与评 估学 习 体 征 数 据 的 概 念 变 得 更 加广泛.学习情境数据学习情境是一个动态调整的事
16、件是一个连接时间、地点、资源等要素的复杂网络现象具有一定可塑性由人、物、环境、教育制度多方面构成 对此教育研究者需针对不同的学习情境对相关数据进行智能感知与分析实现对教育情境的全息化描绘 学习情境数据包括教师的教学风格、教学模式、教学资源、环境场景数据等其中环境场景数据分析是多模态学习分析的前沿研究方向之一主要对学习者所处学习环境数据进行收集已有相关研究表明学习环境与学习状态息息相关温度、湿度、气候等都能够作为补充数据对学习者学习状态进行预测.数字空间数据人工智能与教育领域的深度融合给学习者带来全新的教学体验 得益于物联网、云储存、大数据等技术的发展学习者在不同学习空间中的学习痕迹得以精准获取
17、 数字空间数据主要来源于学习者在学习过程中操作机器设备而产生的日志数据、点击数据、文本数量、发言数量等 另外鼠标移动数据也被作为度量学习投入的数据源使用电子笔笔头压力同样也是衡量学习者投入度的重要指标之一 随着智能教育产品的成熟人机协同教育将成为核心教学模式数字空间数据的采集实现了对虚拟空间教学生态的有机分解凸显数据的实时连续、真实境脉优势为学习投入测评提供适应性支持在某种意义上多模态数据就是学习者学习状态的镜像表征若关键数据缺失则难以保证测评结果的科学性(二)依托信号表征方式挖掘多模态数据关系利用相关技术与设备收集到的多为混合状态原始模态数据如语音、文本、手势等模态数据具有海量、异构、分散等
18、特性 针对多样化的数据信息需要对其去伪存真、定向降噪、降维与清洗纠正错误数据、剔除虚假数据及冗余信息提取出有价值、关键特征值进行在线优化 随着数据科学技术的兴起在数据密集型研究范式的指导下对多通道模态数据进行编码利用采样技术解决数据不平衡问题 难以察觉的数据的张靖晗许卓昕多模态数据赋彩学习投入测评新发展获取及关系挖掘是确保学习投入测评精准度的关键所在可借助统计学专业的方法如描述性统计分析、相关性分析等分析方法获取各模态特征间的关联性归因各模态特征之间的关系进而精准聚焦学习者学习过程中难以察觉的学习规律及问题 将关系挖掘结果以可视化箱线图、气泡图等动态仪表盘呈现出来以直观简要方式聚焦结果为后续数
19、据特征融合工作打下坚实基础(如图 所示)图 多模态数据关系挖掘首先对多模态数据通过计算机处理等方式整理成为多模态数据流格式按其模态相似性与结构相关性分割成多个子空间进行合理、有效地重组如学习体征数据可划分为身体姿态数据、音量音调数据、脑电皮电数据提取学习者在行为参与、情感动机、认知能力、社会网络关系等多维度投入特征值对所得数据进行细分得到子空间 其次对子空间内数据进行分类编码遵循“提取转化”的运行机制指向学习投入四维子投入模型如学习者的专注度、持久度、努力程度、课堂配合度学习者的归属感、自我效能感对教学策略、元认知策略使用度在学习过程中的凝聚度、共享度、参与均度等(三)开放学习测评格局融合多模
20、态数据应用多模态数据能够充分呈现数据与指标间的复杂关系包含一对一、一对多和多对一三类多样化对应关系其中多对一指多个数据特征均可度量同一指标此为数据融合的研究基础 简而言之数据融合是将前期数据挖掘结果以可视化形式呈现其主要操作形式是探索多模态数据的共一性多维度出发以描绘同一局部画像用局部展现全部特征实现全息描绘得到最优数据最终形成稳定、统一的集合体以保证多模态数据特征的内部流通与代表性是学习投入测评的重点与难点 首先针对前期已提取的不同模态数据特征将其按照事件或时间序列进行关联并映射至高维空间转化为高级特征表达选取适当特征进行融合分析由相似向量表征相似语义充分体现数据的多元互补性且操作层面较为灵
21、活最后在此基础上进一步探究学习者在情感投入、认知投入、行为投入以及社会投入层面的表现规律 如 提出利用视觉特征与文本特征之间的内在相关性进行联合情感分类构建深度多模态专注融合模型()通过对数据多环节、多模态、多维度的采集分析实现对学习者学习状态的多元化表征以此为依据对学习者的学习投入进行全方位测评分析对多模态数据驱动学习投入测评过程进行解释透视多模态数据教学色彩改变依据主观判断学习者投入状态的固化经验思维看到学习者的真实需求对教学应用的深入开展具有重要的导向作用三、多模态数据赋彩学习投入测评价值意蕴(一)推动学习投入测评创新发展学习投入是决定学习者取得学习成就的关键因素学习投入测评是构建教育评
22、价系统的有机要素教育信息化的推进与学习方式的多元化为学习投入测评奠定了多模态数据基础物联网技术为多模态数据的感知提供技术支撑 多模态数据为选取学习投入测量指标提供科学参考由于其具有多源异构性、实时动态性、全息整体性等特征使得数据能够从多维度、多视角出发真实全面地反映学习者学习投入的现实情况从而实现有效测量 综合性较强的多模态数据丰富了数据表征形态能够有效避免学习投入测评因维度交叠重复造成的结果失真增强测评结果的准确性与可靠性 多模态数据帮助学习投入测评回归学习者自身使得测评内容不仅限于学生外部表征还进一步深挖学习者内部认知和情感动态走向在最大程度上还原学习者的学习过程全貌推动学习投入测评向精准
23、化和智能化发展为学习投入测评带来了更高效益推动学习第 卷第 期四川职业技术学院学报 年.者评价体系的变革与创新(二)探究深层次学习投入测评逻辑机理教育学领域中多模态数据融合是一种感知和理解教学的新视角也是智能教育应用的出发点与落脚点 多模态数据对学习者认知、情感等多种表征方式进行实时追踪捕捉的同时也进行着对不同模态数据的测评结果全方位把握整合不同学习投入相关影响因子数据为探索不同要素与学习投入关系、探究教育发展规律提供重要的实证数据基础 对多模态数据赋彩下的学习投入测评结果进而可以深度准确反映学习者的课堂学习状态管理系统可由此探索学习者的学习投入变化规律根据其动态学习状态实现精准建模 并经过进
24、一步剖析学习者学习投入的实质性影响因素与内部教育教学规律探索深层次的学习投入测评逻辑机理助力解决学习投入测评的现实难题同时对于培养学习者能力素养与提高教师教育教学能力产生深远影响多模态数据作为赋彩手段是实现学习投入测评创新发展的必然途径充分发挥多模态数据特性实现学习投入精准测评推进学习评价体高质量发展 应准确把握多模态数据投入机制紧跟数字时代发展方向赋能学习投入测评精准化发展推动学习测评理论与实践探索新方向助力学习者健康发展参考文献:董奇.将脑与认知科学的成果应用于教育/.().:/./?.:?.():.:?.():.:.():.王洪江穆肃黄洁等.自主学习投入度实时分析方法及应用研究.电化教育
25、研究():.:.():.():.李娜任新成.国外学生投入及相关理论综述.上海教育科研():.():.鲍威张晓玥.中国高校学生学业参与的多维结构及其影响机制.复旦教育论坛():.():.():.:.():.:.():.彭亚华孟琳琳杨晓瑜.视角下大学生学习性投入实证研究:以北京的 大学为例.民族教育研究():.李西营黄荣.大学生学习投入量表()的修订报告.心理研究():.王富仁.文本分析略谈.语文建设():.张靖晗许卓昕多模态数据赋彩学习投入测评新发展 /.:.():.王一岩王杨春晓郑永和.多模态学习分析:“多模态”驱动的智能教育研究新趋向.中国电化教育():.彭红超魏非闫寒冰.多模态数据赋能教师画像:从简笔画走向全息画像.开放教育研究():.穆肃崔萌黄晓地.全景透视多模态学习分析的数据整合方法.现代远程教育研究():.王雪.多媒体学习研究中眼动跟踪实验法的应用.实验室研究与探索():.():.田阳万青青陈鹏等.多空间融合视域下学习环境及学习情境探究.中国电化教育():.:.():./.:.():.():.责任编辑:刘春华第 卷第 期四川职业技术学院学报 年.
