多模态数据分析视角下深度学习评价路径与策略探讨

多模态数据分析视角下深度学习评价路径与策略探讨

陶金1 ,刘玉2 ,李宁3

1.杭州健海科技有限公司

2. 杭州搜骐网络科技有限公司

3. 蚂蚁科技集团股份有限公司

摘  要：多个领域之间交叉，就会形成一个新的方向，就是深度学习评价，将深度学习数据库构建起来，对于相应的评价分析模型予以创建，使得教育评价优化。从当前所研究的基础研究来看，深度学习数据库运行过程中会呈现出五种模态，即大脑模态、行为模态、认知模态、环境模态、技术模态，采集数据信息，做好标注并详细分析。在预测学习绩效方面，主要发挥作用的是两项指标，一种为运动预测指标，另一种为课堂预测指标，在评价分析和量化运动、课堂行为与学习绩效之间所存在的关联性起到重要的支撑作用。深度学习评价分析建立起来，最基本的前提是四个基本要素和四项基本原则，确保其对教育规律严格遵循，符合教育现实，推进教育发展。未来角度而言，通过深入学习多模态数据，深并予以评价，可以从多方面实施，主要为自动化采集数据，对预测模型予以整合，教育应用进一步深化、统一机理以及决策智慧化的进一步增强等等，并根据实际需要提出改进策略，本论文着重于研究多模态数据分析视角下深度学习评价路径以及有效策略。

关键词：多模态数据；大数据技术；深度学习评价路径；评价机制；有效策略

引言

    当前各种新兴技术发展起来，诸如大数据技术、物联网技术及人工智能等等，社会环境也因此发生变化，传统的教育方式已经无法满足需求，就要相应地做出改变。教育评价范式发生了转型，这是教育现代化建设工作的重要内容，主要是将数据分类技术、预测技术、挖掘技术以及社会网络分析技术充分利用，对与报告相关的数据信息进行收集、整理并分析，使得教育工作将数据信息作为重要依据，以数据化展开。进行深度学习评价的时候，就是对多模态数据进行收集，主要是对学习者行为、运动情况以及课堂情况进行收集，将深度学习因子数据库构建起来，并将预测模型建立起来，为学习者、教师、教育研究者以及教育管理者提供全方位、全模式服务。当前，已经有专业研究团队试图采用建模方法体现课堂数据，可以根据实际需要进行空间建模和数据建模，采用虚实结合的方法，对于学习体验予以优化。但是，很多研究人员虽然建立了多模态数据分析范式，但是没有全周期性，没有全方位展开。就需要运行深度学习评价机制，发挥其导向作用，制定出深度学习评价策略。

一、问题发现

    现在的深度学习评价中存在的问题主要体现为多模态数据结构性与系统性之间存在的不足，预测模型没有智能性与应用性不强，评价机制缺乏科学有效性，教育决策缺乏可靠性和扎根性，具体如下：

（一）多模态数据结构性与系统性之间存在的不足

    多模态学习分析过程中，一项重点工作就是对各种类型的数据信息进行分析并做好整合工作，保证结果的准确性和全面性，将学习过程中的复杂性充分体现出来。当前来看，我国的研究过程中主要是运行多模态数据分类机制，而且并没有设定结构化标准。从现在研究情况来看，多模态数据所具备的特征是多维度整体，一连串隐在和动态的立体化、网络化情境，还有实时连续性，在分析数据的时候需要投入大量的大量的人力以及物力。此外，多模态学习行为数据关系就是在课内活动中或课外活动中的学习者将个人主观意识体现出来，其为内部显示因素。如果按照传统学习评价方式，其中涵盖认知迁移和转换、技能的迁移和转换，而且在在评价的时候通过考试以及访谈等方式才能获得结果，此为直接观察到的行为。评价模式要将内部显示与直接观察行为充分融合起来，保证教学过程以及所获得的效果即时分析，而且保证直观、全面而且多维度。

（二）预测模型没有智能性与应用性不强

    预测学习效果并不是最终目的，而是以此为依据将教学决策提供给教师并制定行动方案，随着客观条件补单发生变化，教学决策以及行动方案也要相应地调整。所以，不能够一次性完成预测，不应一次完成，而是将预测与调节控制持续进行，不断循环反复。通过将行为预警与组合评价策略制定出来，以缝隙课堂行为并予以评测，但是，在分析课堂视频的时候，在如果进行图像截取，就会导致影像模糊，甚至会有些对抗样本存在，分析行为特征数据的时候会有误差，还会影响后期预测模型，无法保证其准确性，导致其无法对新鲜样本缺乏适应能力。当前的预测模型预测运动与课堂行为特征良好，还会影响学习绩效，但是只能将行为与学习绩效之间的关系呈现出来，无法体现出运动与课堂行为的关联性，尤其是运动影响课堂行为，或者课堂行为与运动之间所存在的关系，不能反映于模型当中。

（三）评价机制缺乏科学有效性

    学习过程中，动态变化主要体现为五个维度，即认知迁移泛化能力、思维变迁泛化能力、行为伴随泛化能力、情感投入泛化能力以及环境变化和技术支撑唯独。五个维度并不是独立存在的，而是互相交织，而且互相之间还可以发生作用。无论最终是哪一种学习层次以及所获得的效果如何，学习者学习过程中五个维度都会发生变化，都要依据为依据保证教育评价机制的科学有效性。

    评价角度而言，当前所采用的评价方式将信息技术合理运用，就可以获得学习者画像、课堂画像，还能够获得学习者在线平台行为过中产生的轨迹等等，但是依然有不同程度。信息技术不断发展，教育评价过程中就要将多维数据充分利用，在学习者成长的过程中能够将整个历程详细记录下来，此时需要对学习者学习能力重点关注，明确其学习水平，同时也要认识到多元智能发展、培养认知能力培养、深度学习过程中的思维变化以及情感态度方面都会存在一些问题。评价结果方面来看，通过学生考试分数就可以获得深刻意蘊，教师与研究者要从辩证角度、科学角度分析，而且还要不断深入。

（四）教育决策缺乏可靠性和扎根性

    教学对象得以实现，就要应用数据智能技术进行观测、分析、解释，同时还要做出预言并予以调节控制，使得学习者行为模式细致化，学习者的个人属性得以良好，包括生理、意向、人格、情感以及知识等等都要采用量化分析方法，对学习者的学习绩效加以预测，包括人的心理以及动机都可宜采用透视的方式加以了解，之后进行干预以及调节控制调控。

    在现在的纵观教育体系中，从宏观角度而言实施教育体制与教育管理，从中观角度而言采用数字技术未教育决策提供服务，从微观角度强化数据化建设，所获得的研究成果数量比较少，但是，依然不能发挥其理论支撑作用制定教育决策。此外，我国当前的教育决策依然局限于垂直式管理，各个方面都有明显的自我强化特征，主要包括组织结构、专业结构、运作模式以及队伍特质等等。处于数字化时代，就要发挥数据技术的作用驱动教育决策，还要实施结构化变革教育，以符合当前的时代环境，应用多模态数据分析技术可以使得教育决策更加细致，采用量化方法进行分析，基于此制定数字化教育决策。

    未来，需要对多模态数据详细分析，基于此构建深度学习评价体系，处于不同教育场景下研究应用效果，帮助教师将诊断性评测技术合理利用、学习档案评价，同时还要合理应用大数据评价方法是，保证分析结果的镜准确，而是做到全域关照，对于学习者体现个体价值回归起到促进作用，还有助于促使主体价值增加。

二、深度学习评价分析的可行路径

    学习者在任何类型的学习空间中都会积极开展学习活动。也会有相应的教育场景数据产生。在教育环境非常复杂的情况下，采集数据信息以及数据的来源都已经实现多元化，除了构建传统教育场景之外，还启动线上教育平台，还涵盖多模态数据，包括学习者的生活作息、头脑中所呈现出来的思维方式以及认知变迁等等。深度学习评价要实现智慧化，整个的路径中，最为关键的一步就是构建评价分析模型，其重要内容就是基于不同教育场景具有针对性地构建评价体系，诸如生活场景、课内学习场景以及课外学习场景等等，主要为三个阶段，具体介绍如下：

（一）采集多模态数据阶段

    深度学习强调就是将大脑、认知、行为、技术以及环境充分融合，使得学习空间不再是传统的单一化模式，而是实现混合式转变，即教室实体转向物理空间，与网络空间之间充分融合，使得学习空间实现变迁。当前快速兴起可穿戴设备，实现人机交互，大数据挖掘技术被充分运用起来，而且技术上依然不断更新，对于传统教学环境中采集多模态数据采集起到重要的技术支撑作用，主要是在生活场景、课外学习场景以及课内学习场景下。将多模态数据采集构建深度学习数据库构建起来，需要经过三个阶段，即采集数据信息阶段、数据标注阶段以及分析数据阶段。各个阶段之间相互作用，并且相互影响。在数据库中，各个层级数据之间存在因果关系，而且构成一个循环。需要明确的是，深度学习数据库合集是用内核层表达的，具体数据对象则是在最外层，从内核层到具体数据层，数据越来越细化，也是学习在头脑中高度呈现方式。

    第一个阶段，采集数据信息。这个阶段的操作中需要使用的设备有很多，包括麦克风、脑电设备、摄像头、眼动设备以及心理传感器等等，透过运行模态传感器，将各种相关技术充分利用，包括深度学习技术、大数据技术、人工智能技术以及区块链技术等等，采集学习者学习行为信息以及环境数据信息等等。将云存储平台充分利用起来，应用区块链技术控制访问控制信息，结合使用安全计算技术以及同态加密技术等等，保证信息安全。进行实验研究的过程中，会有多模态数据产生，此时就需要实施切片化处理，加密各种切片数据，确保参与计算的人员不会将信息提供给验证者，确保论断结果准确，防止由于第三方介入导致数据丢失。数据库将个体的学习情况反映出来，或者反映群体学习情况，重要的依据是学习者的性别、行为、学段、区域以及学科等等，呈现出学习现状，并总结规律，以有效提出多模态数据库特征，并实现数据融合。

    第二个阶段，数据标注。做好预处理工作，即针对生理电信号实施滤波操作，检测通道，将24～36组提取出来，与相空间重新构建非线性特征，包括嵌入维、关联维、延迟时间等等，归一化处理的时候，要将自适应阈值合理运用，如果需要分析独立成分，就要实施降维处理，对于有关参数需要采用递归量化分析方式进行计算，将眼动信号样本熵以及近似熵都提取出来，还要提取皮肤电信号的SCL值以及SCR值。

    第三个阶段，分析数据。当进入到深度学习因子数据分析阶段的时候，对于五种模态数据可以使用深度信念网络决策并做好分类工作，将各项学习指标构建起来，包括元认知、学习投入度以及专注度、学习过程中产生的情绪等。当进入到决策阶段，要将深度玻尔兹曼机合理运用，针对各项指标制定决策并做好分类工作，将学习因子关系模型构建起来，从而对深度学习认知水平进行分析，基于此将多模态深度学习数据库构建起来，保证其完整度和可信度。

    所以，构建深度学习数据库以及运行需要经历三个阶段，每个阶段都有各自的任务，即构建数据库、明确发展目标以及使用核心技术等等，各阶段之间各自独立存在，同时也相互影响，做到层层深入且相互因果，不仅非常严谨，而且极具系统性。

（二）预测学习绩效

    前期阶段进行研究的过程中，在多模态基础上建立起来的深度学习绩效预测模型实现了更新。具体的研究过程中需要严格遵循如下流程。

    其一，对指标数据源标注进行标准。将学习成绩作为重要的衡量指标将学生划分为两组，从综合的角度分析学生的运动行为和课堂行为，明确其与学习绩效存在的关系，基于两个方面将学习绩效模型构建起来。

    其二，构建行为预警策略方面，构建机器学习建立决策树模型和和规则模型，前者用于行为指标可视化分类，后者用于生成学习集行为规则，之后集中行为规则，合并关键分类阈值并予以转换，将行为预警判断阀值区间确定下来，之后生成运动行为和课堂行为预警策略。

    其三，构建行为组合评价方面，比较机器深度学习分类模型预测效果与决策树和规则预测模型预测效果，确定最优一方确定下来之后，就可以获得预测指标，也就是先导经验，之后将主成分法计算运动权重系数以及课堂行为类型权重系数确定下来，对于熵值法合理应用，结合先导经验将两个行为类型中的各项行为指标计算出来，获得权重系数，之后就可以获得新的权重系数，对其行为特征进行计算，明确行为类型并予以组合评价，确定得分区间，，用以支撑分析和量化运动与课堂行为，确定学习绩效之间所存在的关系并予以评价。

（三）深度学习评价分析运行机制

    在多模态数据基础上将深度学习评价分析运行机制构建起来，一方面将和兴定位于多模态数据与学习者，在复合场景中采集信息并详细分析，从各种场景中获得资源；另一方面，学习者、环境以及技术之间是双向互动的，存在着交互关系，确保深度学习评价分析维持在正常运行状态[1] 。此外，评价体系运行的过程中，还要从综合的角度应用教学、科学研究、管理与评价，所获得的结果用以支撑为深度学习评价分析，具体如下：

1.四个关键要素

    其一，采集数据信息并预测。对于数据设备进行采集并捕获，对于设备要严格要求，保证其有良好的适应性，还要具有前沿性且极具丰富性，以具有针对性地收集数据信息，保证获得有效的数据信息，且做到数据全面，基于此构建深度学习数据库并保证其科学性。运行模型以及检测的过程中，要做到全自动化，而且动态化运行，而且在验证的时候保证循环性，对于学习者的指标变化情况实时关注，表现为动态化，防止学习者与预测模型之间存在很大的差异。

    其二，融合多模态数据信息。将多种类型的传感器合理应用，合理应用相关算法，包括大数据技术以及深度学习技术等等都要充分利用起来，对于数据信息提出特征因子并予以处理，保证分析模型准确无误，保证其科学性，维护其系统性。

    其三，动态交互协作。分析模型中的各项元素运作都要保持协调性，诸如各个场景、各项要素以及各个阶段等，如果存在一些问题而且非常复杂，各项要素就要保持和谐型，尤其是人、数据、技术和环境四个要素要保持统一性，这就需要虚实体中多个主体之间能够动态化交互，形成良好的协作关系，比如学习者与传感器之间要相互合作，可穿戴设备与环境之间友好互动，教师、同学与教务系统之间要相互交流并及时反馈信息。

    其四，学习服务。构建深度学习评价分析模型之后，为了将其中的关键要素体现出来，就要积极开发模型，运行模型的过程中还要调节控制，进行评估和测试，之后予以优化，这个操作流程中，学生都发挥主体作用，不仅需要明确标准以及所要实现的目标，还要在运行模型的时候提高服务水平，学习者的智慧化适应能力得以满足。

2.四个基本原则

    要使得模型具有科学性，能够发挥有效性，实施深度学习评价的时候需要严格按照四个基本原则进行，具体如下：

    其一，对于现实基础要严格遵循。构建深度学习评价分析模型之前，要从多个角度合适学校智慧化建设工作现状以及应用信息技术建设的条件，等进行全面核实，确保构建模型设计方案具有良好的适应性。

    其二，数据信息要及时更新。积累多模态达到一定数量的时候，就要保证数据信息及时更新，保证系统学生数据多种多样，以获得有效的内部数据。此外，管理者与研究者收集学生数据的时候，还要充分考虑其隐私性，还要维护其保密性，当进入到后期研究阶段，开发过程中，要整理好数据库中的信息并做好保密工作。

    其三，模型数量要适当地增加。在多模态基础上将深度学习评价分析模型构建起来，主要的最终目标是实现教育评价全方位、全周期、全模态实施，有良好的适应性，而且研究者还需要将各个学科以及各个领域知识融合起来，综合运用各项技术，保证深度学习评价分析模型的各个学段以及各个类型都符合要求。

    其四，紧跟时代前沿。要保证深度学习评价分析模型有较高的精密性，而且制定决策方面达到智慧效果，研究者、学校以及管理机构等等对于时代变化都要有较高的敏感性，才能很好地适应不断变化的时代环境。对于现实基础严格遵循，使得模型质量持续提高，对于学习者的先知、先觉以及共智具有良好的预测能力，且保证精准度，采用这种方式使得深度学习评价分析模型获得最高价值。

三、深度学习评价的有效策略

    深度学习评价与普通评价方法的不同之处在于，即便不是同一个学科，在不同的时间和空间也可以收集和记录数据信息，并对数据信息进行加工、处理，跨空间、跨学科与跨时段的视阈下进行数据记录、采集、加工与处理，随着深度学习评价分析模型的运行，所有数据都可以流畅运行并自动累加，由此实现高质量、高效率评价。在实施深度学习评价的时候，可以采取如下策略。

（一）将自动化采集装备开发出来并深入研究相关技术

    多模态数据分析技术已经在规格领域普及而且根据应用需要不断更新，使得数据采集工程实现高维度，而且多样化方向发展，这个过程非常复杂，而且运行流程繁琐。目前来看，当处于特定环境中的时候，需要穿戴设备以及体感交互设备等等，以更好地适应环境分析工作，在教育实验室进行数据采集的时候也要采用这种方法，然后对数据进行整理、分析。这种评价是特定性的，需要通过实验完成[2] 。当然，分析学习状态的时候存在一定的局限性，而且是非自然性的。在后续的研究过程中，要将深度学习数据库构建起来，进行自动化采集设备搭建的过程中，要维持在低成本状态下，而且能够在常态环境下正常运行，这就需要与各种类型的行为数据结合起来，价值整个学习过程中累积的各种数据，就会有日志类型的环境数据产生，就可以对自动化数据进行标注以及注释，发挥其支撑作用以做好深度学习评价工作。

（二）将时空多模态预测模型构建起来

    从模型角度而言，要实现科学建模，就需要将特定的情景构建起来，以为模型的形成和评价提供支持，进行研究开发、反馈以及运行中将所存在的各种问题解决，同时将事情发生机制揭示出来。所以，要对多种方法予以整合，摒弃传统的单一化解决方法。构建学前教育、基础教育与职业教育相融合的教育环境，对多模态数据与深度学习之间所存在的关系进行探索，明确两者之间的更高阶映射，经过类推之后，就会有预测模型形成，实现系统化运行。现在比较常用的多模态数据为分布式呈现，而且呈现出散状，将物理环境与网络环境整合之后，形成学习轨迹并实现交互，采用这种方式进行分析，最终构建跨时空学习模型，在此过程中，大脑、环境、行为、认知以及技术等等作为元素构建立体建模，对于深度学习真实发生的生理信号以及在行为上所发挥的变化进行预测。

（三）对深度学习评价教学深度探究

    在现在的教育评价领域中，主要采用的方法是单模态分析，结合使用可视化技术，对于数据采集技术以及分析技术进行开发的过程中，更为注重学习者的学习行为，以及如此产生的各种数据新、交互过程中产生的数据以及操作日志等等，使得学习分析结果停留在表征上，包括学习成绩、使用资源时间的长度以及社会交往数据信息等等，这些都是直接可以观察到的行为，并不会涉及到内在隐蔽的行为，诸如学习上产生的情绪、学习过程中运用的思维方式、学习认知以及学习中所产生的心理等等。随着快速发展的机器人技术、神经网络技术欧克欧大数据挖掘技术等等在应用领域中发挥作用，很多的非结构化数据也可以有效识别，比如图像、文本以及影像等等，并且能够深度解析，一些程序性工作应用机器之后得以简化，从而高效完成任务。对于当前已经成熟的技术合理运用，将自动化评价分析工具充分利用，而且深度学习评价的时候该工具具有可拆解性，即便是学段不同、学科不同，也能够实现融合，使得深度学习课堂学习过程中获得良好的体验，与现在的课堂教学相契合，使得学习感知个性化，而且能够获得学习反馈，如此，深度学习评价分析与教学场景之间不再是各自孤立存在，而是可以相互之间动态化转化。

（四）对学习科学与计算机科学深度学习机理进行探索

    深度学习评价作为全新领域，是建立在交叉学科基础上的，不仅在学习科学中，也在计算机科学中对多模态数据进行研究，但是两者对于“学习”的的界定以及描述各有不同。相学习科学研究的解释，就是学习者产生认知以及转化思维转化的过程；计算机科学则是倾向于计算机模拟操作以及仿真操作，通过应用数据将学习规律找出来，针对位置数据将预测建模构建起来。学习过程中，需要脑科学结合心理学，还需要应用人工智能技术进行自动化分析

[3] 。为了让深度学习评价分析不断进行，就需要针对两者将共同话语体系构建起来，将共享研究成果的平台构建起来，对于深度学习内在机理进行探究，为创新学习理论研究创造良好条件。

（五）提高教育决策与教育治理的智慧化

    教育决策要有所改进，深度学习评价可谓是重要的依据，不仅能够满足现实需求，而且为未来发展决策提供有价值参考，以对教育数据进行分析，明确教育意义。此外，在教育发展进程中，应试教育在长期以来占有核心地位，并没有关注技术的重要性。制定教育决策以及实施教育治理的时候应用智能技术，以教育过程为核心展开，将理论解释为导向，发挥发展教学理论的价值。

结束语

    通过上面的研究可以明确，通过分析多模态数据进行深度学习评价，更加注重挖掘教育过程，并且实施实践改进，以保证真实性、协同性，还要突出创新性，以将教育问题更好地解决，更好地满足新的教育需求，包括一些困难问题以及比较复杂的多模态数据等都要深入挖掘，使得教育工作行程一定的规律，把握教育本质，以创造更高的教育价值。所以，要使得深度学习因子以及分析所获得的结论能够发挥教育意义，且具有操作的可行性价值，起到关键作用的是理论以及操作机制，对研究人员予以指导，明确哪些学习变量是重点，需要得到关注，并将框架列出来，提供解释结果。但是，从当前自动收集以及处理模态以及采用的工具来看，依然存在不足之处，，虽然能够将学习的显著性特征表达出来，但是并没有体系化。学习场景不同，要将各种模态数据有效组合起来，还要从基础角度出发深入探索。现在的人工智能技术不断更新，而且教育评价工作也在积极改革，深入学习评价必然对教育的未来发展起到重要推动作用。

参考文献：

[1] 朱珠， 李萌欣， 代秀云，等. 基于深度学习和行为数据的自控力评价研究[J]. 心理技术与应用， 2022， 010(8):51-52.

[2] 胡航杨旸. 多模态数据分析视阈下深度学习评价路径与策略[J]. 中国远程教育（综合版）， 2022， 000(2):13-19.

[3] 曹晓明， 张永和， 潘萌，等. 人工智能视域下的学习参与度识别方法研究——基于一项多模态数据融合的深度学习实验分析[J]. 远程教育杂质， 2021，000(1):32-44.