(一) 理论基础
“智慧学伴”教育机器人采用经典的自我决定理论( self-determination theory) ( Ryan & Deci,2000)作为设计的理论基础与基本原则。自我决定理论由美国心理学家理查德( Richard Koestner) 等人提出,在教育心理学等领域应用广泛。该理论认为,个体 有三种天生的心理需求,即自主感( autonomy) 需求、胜任感( competence) 需求以及关系感( relatedness)需求。这三类心理需求得到满足时,个体的内部动机就会增强,同时会促进外部动机的内化,推进目标 的达成与个体的成长。如果上述三种基本需求得到满足,学习者可以获得良好的学习体验和激励,最终提高其学习效果与效率。以自我决定理论的三种基本心理需求为基础( Lu et al.,2018) ,我们确定了“智慧学伴”教育机器人的设计原则:
1.自主感
自主感指个体在充分了解个人意愿及客观环境的基础上,对自身行为作出自由而非强制选择的感受。这种自由选择能够引导个体产生符合其心理需求、有益于个体成长的行为,促成其内在动机,即出于兴趣或活动本身的乐趣进行选择。内在动机通常能促使个体开展更高水平且创造性的学习,能够自觉运用有效的学习策略,面对困难也更能坚持。因 此,针对学习者自主感的心理需求,我们提出教育机器人的三条设计原则: 1) 为学习者提供多个符合教学规律且合理的学习活动选择; 2) 了解学习者对当前学习内容的感受并作相应的反馈或调整; 3) 尽量减少学习活动对学习者的压力感与被控制感。
要给学习者提供不同的学习活动及选择,一方面需要建设多模态、高质量的学习资源,满足学习者根据自身特点开展学习的需求; 另一方面要利用合理科学的方式对学习资源、教学目标、教学概念等进行有效组织和架构,利用简单、友好的可视化方式,支持学习者与学习内容间的自由交互与选择。因此,设计新型的教育知识图谱,将学习者当前的认知状态进行叠加,可帮助学习者客观认识自身学习状态,引导学习者选择学习资源。其次,及时了解学习者对学习内容的感受并作相应的反馈或调整,需要教育机器人能够通过不同类别的传感器实时采集与分析学习者的过程性与测评性学习活动数据,并根据认知科学等理论设计相应的反馈,动态调整学习内容。比如,推断学习者遇到障碍,有大概率产生“疑惑”等情绪时,教育机器人可以及时提供学科知识问答以及支架式教学反馈或干预。最后,引入激励机制与放松环节,可尽量减少学习活动对学习者带来的压力感与被控制感。有效的激励能够缓解学习者的紧张,有利于学习进程的稳步推进; 适当的放松反过来可以减轻学习的被控制感。
2.胜任感
胜任感指学习者完成学习任务或测评过程中,对所遇挑战的掌控感与积极的自我肯定。如果学习者能够持续体验到胜任感,其内部动机可以得到增强,反之会导致挫败感。因此,针对学习者对胜任感的心理需求,我们提出教育机器人的两条设计原则:1) 准确估计学习者的知识掌握程度与能力,鼓励学习者开展高层级知识的学习,逐步引导其学习和理 解挑战性内容。2) 及时肯定学习者正确应对挑战和取得的进步。
这就要对学习者的知识掌握水平、学科能力等关键指标进行准确建模,使教育机器人可以在正确的时间适当提高学习内容的难度和挑战性; 通过自然语言交互等方式鼓励与肯定学习者的关键性进步,强化学习者应对新的学习挑战的内部动机。
3.归属感
归属感指学习者需要来自周围环境与学习伙伴的沟通、理解与支持。良好的关心与沟通可以促进学习者增强内部动机,帮助其高效完成预定的学习内容和任务。因此,针对学习者对归属感的心理需求,我们提出教育机器人两条设计原则: 1) 在与学习者交互时,机器人尽可能传达出与学习者直接相关的个性化与标志性信息。2) 如技术条件和教学进程允许,机器人可以和学习者择机开展与教学内容无关的交流和沟通。
基于上述设计原则,教育机器人与学习者的交互尽可能采用基于学习者个人信息的个性化交互方式和内容,比如根据学习者的性别、姓名、经历等设置问候语等导引信息,自然传达对学习者的尊重、喜爱与亲密。同时,设计非教学用途的聊天对话可使学习者与教育机器人之间产生直接“联系”,增强学习者的归属感。
(二) 关键支撑技术
要落实上述基于自我决定理论的三类心理需求及机器人系统的设计原则,需要利用多项前沿技术作为其关键支撑和功能实现保障。
1.知识图谱技术构建教育认知地图
知识图谱技术通常指利用具有结构化语义知识的概念网络,描述通用领域或垂直领域的实体以及这些实体间关联的知识表示。利用知识图谱技术可以结构化表示教学过程涉及的不同客观实体,如知识点、教学目标、学科教材等,以及这些实体间存在的具有教育意义的各类认知关系,如知识点间的前驱后继关系、习题与学习目标间的评测考查关系等。同时,教育知识图谱叠加学习者知识点掌握程度等认知状态信息,可以进一步构建教育领域的认知地图,直观呈现给学习者,帮助学习者了解其学习进程和掌握程度。
在“智慧学伴”教育机器人中,教育知识图谱一方面作为学科专业知识与教学相关各类实体的底层数据基础与基本结构,支持学科知识性智能问答与检索等基本交互功能; 另一方面,教育认知地图可以直接呈现给学习者,并作为人机交互界面帮助学习者自主选择与调整学习内容。
2.机器学习技术构建学习者模型
机器学习技术通常指利用数据或以往经验,优化计算机程序的性能和标准的技术。作为人工智能领域进展最快的关键技术之一,其在智能教育机器人的构建中起着重要作用。教育机器人估计和判断 学习者认知状态和学习能力的基础是对学习者建模。例如,知识追踪( knowledge tracing) 是对学习者的动态认知过程进行量化建模,通常利用贝叶斯理 论、一阶马尔可夫模型机器学习算法等进行构建。大规模在线学习者及其各学科测评信息的采集,为学习者建模提供了丰富的训练数据。同时,随着深度学习技术的发展,基于深度神经网络等技术的深度知识追踪模型可以直接帮助解决多知识点动态建模等关键问题。
在“智慧学伴”教育机器人的实际系统实现中,我们利用深度学习模型构建了包括知识追踪模型( Chen et al.,2018) 在内的一系列学习者模型,为机器人提供学习者当前学习状态的动态估计信息,使机器人可以及时诊断和干预学习者学习障碍或困难。同时,将较为准确的学习者认知状态等信息嵌入教育知识图谱,构建完整的教育认知地图。
3.自然语言处理技术构建问答与对话系统
自然语言处理技术是利用机器对人类自然语言 进行理解、处理和运用的技术,是当前人工智能领域最富挑战性的子领域之一。在教育机器人的系统构建中,基于自然语言处理技术的问答系统与聊天系统是支持学习者与机器人有效教学的关键交互环节。问答系统通常通过对学习者提问进行语义理解与解析,并基于底层知识图谱等知识库高效检索所需的信息,提取答案信息,最终生成学习者可以接受和理解的自然语言应答。对话系统通常分任务导向型对话系统和非任务导向型对话系统。任务导向型对话系统旨在帮助用户完成特定任务,非任务导向型对话系统没有清晰的任务,主要模仿人与人之间聊天等非结构性对话与交互。
在“智慧学伴”教育机器人中,我们同时引入问答引擎与对话代理引擎,支持学习者的不同需求。问答引擎专注于处理学习者提出的学科教学类知识问题,通过对底层教育知识图谱进行图搜索生成自然语言答案。对话代理引擎主要支持学习者与机器人的闲聊功能,以通用知识图谱及深度学习模型支持该部分功能的实现。
4.情感计算技术估计学习情绪与专注度
情感计算技术通常指与人类情感相关、来源于情感或能够对情感施加影响的技术,其目的是赋予机器识别、理解、表达和适应人类的情感能力,创建更加有效的人机交互过程。例如,通过计算机视觉分析,实时采集和分析学习者的面部表情和身体姿态等关键信息,输出包括愉悦、惊讶等情绪结果。同时,结合当前学习内容的难度、学习者能力及认知科学理论可估计和预测学习者的学习情绪和专注度等学习状态指标,对教学作出及时调整、干预或反馈,实现个性化的教学服务与情境感知。
利用机器人的前置摄像头等传感器设备,我们建立了学习情绪识别模型,可以较准确地判断学习者对学习内容产生的负面情绪。同时,我们提出了 学习分析框架 LEARNSense( Lu et al.,2017) 。该框架基于学习者学习行为和动作等信息,结合认知科学的经典理论,估计学习者学习专注度,最终构建情感计算引擎,实现教育机器人对学习者学习情感状态的准确感知和识别。
三、系统架构与实现
基于以上教育心理学理论基础和人工智能领域 的关键支撑技术,我们对“智慧学伴”教育机器人进 行了系统架构设计与实现( 见图 1) 。从系统层面而言,“智慧学伴”教育机器人分两大基本模块: 1) 基于机器人硬件系统的教学交互模块; 2) 基于“智慧学伴”服务平台的数据与资源模块。两大基本模块通过互联网进行信息传输和共享。其中,服务器端的“智慧学伴”服务平台提供学习者基础数据和教学资源,客户端依托机器人的硬件系统完成教学交互功能。
(一) 教学交互模块
教学交互模块是“智慧学伴”教育机器人的核 心模块,负责机器人的教学过程及与学习者交互功能的实现,其底层设计了三类基本引擎,即情感计算引擎、问答引擎和对话代理引擎。
1.情感计算引擎
如前所述,情感计算引擎主要基于泛在计算、计算机视觉等技术,负责完成对学习者的学习情绪、学习专注度等状态与指标的识别与估计。学习者的表情可以反映学习的情绪和状态,因此实时了解学习者的学习状态并给予实时反馈与教学支持有重要作用。“智慧学伴”教育机器人利用计算机视觉技术的卷积神经网络分类模型,根据学习者的面部表情 特征,细分出八种基本情绪的概率值,分别为愤怒、轻蔑、厌恶、害怕、悲伤、惊讶、愉悦与中性。当愤怒、轻蔑等前六种情绪的概率值之和或者单一情绪的概率值高于阈值,即判断学习者处于负面的学习情绪。相反,当愤怒、轻蔑等前六种情绪的概率值之和小于阈值或者愉悦的概率值高于阈值,可以判断学习者处于相对正面的学习情绪。
学习专注度描述学习者的努力程度和投入程度,同时表征学习者认知系统的运转效率和对学习内容的兴趣( Trowler,2010) 。当学习者处于较高水平的学习沉浸度时,通常会取得较好的学习效果和更深的认知程度,这时可以启动激励机制促进高水平学习专注度的持续。当学习者处于较低水平的学习专注度时,通常难以达到预定学习效果和认知程度,往往需要采取干预措施。另一方面,学习专注度有隐含性和时变性,通过学习者自陈报告和教师评价等形式的主观数据通常很难准确、连续地评估学习沉浸度。近年来,教育与认知科学研究( Chi & Wylie,2014) 已经证明,不同级别的专注度可以通过学习过程的外显行为( overt behavior) 有效推断。因此,“智慧学伴”机器人在识别学习者的面部表情与肢体动作等外显行为基础上,结合 LEARNSense ( Lu et al. ,2017) 等学习分析框架,估计学习者的学习专注度。
建立教育机器人对学习者情绪与专注度的识别与估计能力,可提高教育机器人的感知力,拓宽与学习者之间的交互带宽,提升机器人的智能性,同时为教育机器人的教学反馈提供基础信息,为学习者提供心理与情感支持,增强学习者的自主性,最终为学习者的认知过程提供实时、准确、适当的反馈与支持。
2.问答引擎
问答引擎主要通过自然语言交流的方式接收、处理和应答学习者提出的学科教学类知识问题。问答系统需要理解与解析学习者提出的问题,学科类问题由问答引擎处理和应答; 否则,由对话代理引擎负责处理。对于学科专业问题,问答引擎会先调用学科知识图谱,然后通过图搜索的方式检索和推理相关信息,生成学习者可以接受和理解的自然语言应答。例如,学习者提问“除了绿色植物,还有哪些生物可以进行光合作用?”问答引擎首先判断该问题为生物学科问题,然后开始在生物学科知识图谱上进行图搜索,并将检索到的“蓝细菌”“紫细菌” “海兔”等信息,通过自然语言生成功能,组成学习者可以理解的答案,例如,“蓝细菌、紫细菌甚至海兔都可以进行光合作用”。同时,为使学习者与教育机器人的交互获得与类似人类教师交互的体验,问答引擎利用自然语言处理的文字转语音功能,调整机器人应答,并模仿人类教师的语音和语调,附加鼓励话语,如“这个问题问得很好,还有别的问题吗?”。
学科问答能力的建立,是支持学习者与机器人 有效教学交互的必要和关键环节之一,不仅能够优 化和节省学习者的信息搜索过程与时间,提高教学 反馈的效率和能力,更能增强教育机器人指导的教 育性与专业性。
3.对话代理引擎
与问答引擎不同,对话代理引擎主要支持学习者与机器人的自由问答和闲聊功能,对学习者及机器人的语音交互内容不作教学限定。同时,区别于传统的任务导向型对话系统,该对话代理引擎无需帮助用户完成特定任务,主要基于通用知识图谱及深度学习模型等关键技术,模仿人与人之间聊天开展非结构性对话与交互。例如,“智慧学伴”教育机 器人可以智能地安慰学习者的抱怨( 如“这个问题好难啊”“我肯定学不会”等) 、对机器人本身信息的询问( 如“你多大了”“谁是你的父母”等) 以及对通用领域和简单生活知识的闲聊。但是,受限于自然语言处理技术,目前“智慧学伴”教育机器人闲聊的智能水平有局限。如果机器人不能找到可以回复的答案,它会主动引导学习者回到学习进程( 如“这个问题我不懂哈,要不我们还是继续刚才的学习吧?”) 。另外,“智慧学伴”教育机器人利用面部识别技术自动识别学习者身份,并在闲聊等环节自动使用学习者的名字、昵称等,以增强与学习者之间的联结,提高学习者使用机器人的兴趣。
(二) 数据与资源模块
数据与资源模块作为教育机器人底层的信息基础模块,主要利用“智慧学伴”平台( 余胜泉,2017)通过网络传输等途径为教学过程以及人机交互功能提供数据与资源支持,包括学科知识图谱、社会性学习资源、学习者数据和个性化认知地图。
1.学科知识图谱
如前所述,知识图谱通常指描述通用领域或垂直领域的各类实体以及这些实体间关联的结构化知识库。语文、数学、生物、历史等学科便于构建专属的学科知识图谱,表征该学科教学涉及的不同元素及元素之间具有教育意义的有效关系。学科知识图谱主要基于该学科核心知识点之间的语义关系,形成知识之间的逻辑关联网络,并能有效组织教学、评 价等环节产生的数据。以知识内容和学习者为核心对象,学科知识图谱可以实现语义理解和推理,帮助教育机器人完成知识教学和学科问答等。
2.社会性学习资源
学习活动及其所需学习资源具备社会属性,需要利用个体的社会化学习行为进行资源聚合,并提升其质量和结构化程度。知识之间的内在关系与人的社会性交互形成的人与知识共生的社会性知识网络,有助于学习资源的有效聚合与质量提升。同时,学习资源具有多模态性,需要涵盖教材、测评试题以及课标库等。其中,多模态教材包括高质量的视频 类微课等多媒体教学资源,测评试题可以利用语音识别等技术进行答案采集。学习资源还要根据课程教学大纲标准,进行细颗粒度知识点标注,并根据教学大纲的学习目标划分与归类能力层级,供个性化认知地图及精准推荐使用。教育机器人的硬件支持多种学习资源使用,如视频教学资源可以通过机器人的前置屏幕或者后置投影等,高清晰地展示与播放。
3.学习者数据与分析
学习者数据涵盖学习者产生的学习测评数据、学习行为数据和学习报告数据。其中,学习测评数据和行为数据为学习报告的生成提供信息支持。学习测评数据主要来源于学习者的各类测试结果,包括学习者作答正确与否、作答顺序、时长等关键信息; 学习行为数据包括学习者与机器人交互过程信息,包括所有的学科问答与聊天对话数据、学习者面部表情与动作等过程性信息。在此基础上,机器人自动生成学习者阶段性学习分析报告,涵盖薄弱或易错知识点、与机器人教学互动以及试题作答等情况,在实际教学应用中还可以生成可视化报告等。
4.个性化认知地图
学习者数据和多模态教学资源可以进一步构成学习者个性化认知地图( 万海鹏,2017) 。个性化认知地图以树状或网状结构展现学科细颗粒度知识点,然后在知识点上叠加学习者当前的认知状态( 即是否掌握该知识、学习与测评进度等) 、多模态学习资源以及该知识点对应的教学目标等教学关键性信息。个性化认知地图可以作为结构化的基本信 息,为教育机器人的上层教学服务提供数据支撑( 如学科问答、知识学习等) ,也可以用可视化与交互方式直接反馈给学习者,使学习者了解自身的知识掌握状态,促进其自我认知和激励。学习者还可以利用教育机器人的触摸屏等硬件,与其个性化认知地图交互,自由选择所点击知识点的详细信息和多模态学习资源的推荐。
综上所述,基于教学交互、数据与资源两大基本模块的整体系统架构,同时依托个性化认知地图、多模态教学资源等基础性、结构化信息,“智慧学伴”教育机器人可以实现学习情绪与专注度识别、学科问答以及聊天对话等教学与交互功能。
四、应用模式
在实现前述系统架构的基础上,“智慧学伴”教育机器人能够作为学习者在家庭环境的教育指导者,利用其教育专业性、实时反馈与感知等关键能力,设计符合个体学习者特点的典型应用模式,完成不同阶段的教学目标,满足学习者对于自主感、胜任感及归属感等核心需求( 见图 2) 。“智慧学伴”教育机器人的典型应用模式包括学习疑难问答、学情 报告分析、学习督促提醒、学习陪伴激励和家长教育助手五类。
image.png
图 2 “智慧学伴”教育机器人的典型应用模式
(一) 学习疑难问答
“智慧学伴”教育机器人可以与学习者共同完成一系列学习活动。首先,机器人基于内置的教学目标与自适应学习路径,将多模态学习资源向学习者精准推荐和交互式讲授,满足学习者的自主感。在此过程中,机器人允许并鼓励学习者提出问题,并通过问答引擎自动处理和解答所涉及的知识问题,鼓励学习者深入反思或者分享,触发学习者的思考。其次,当完成重要知识点的教学后,教育机器人会建议学习者完成三道题左右的测试。测试方式可以是自然语言,也可以是接触机器人前端触摸屏完成,从而帮助学习者巩固知识点,也为机器人提供学习者掌握状态的测评信息,有助于机器人准确估计学习者认知状态。同时,学校端学习过程性和测评性数据的共享可以提高机器人对学习者的理解,包括其优势或者薄弱的科目和知识点,从而更好地解答学习者的疑难问题,推荐优质教学资源,动态优化学习路径。
(二) 学情报告分析
“智慧学伴”服务平台的学校端,可以采集学习者长周期、多模态的过程性与测评性数据,如学习者的周期性单元微测与总测成绩、心理与体质健康测评数据、与教师在线互动问答等数据,然后结合学习者个体、班级以及学校层面的分析模型,把个体与群体性学情报告通过机器人端呈现给家长和学习者。基于内置的知识追踪等学习者模型与阶段性的知识测评信息,可以实时更新学习者的认知地图,如是否掌握当前学习单元的知识点,从而动态调整学习者的学习内容和学习资源。学习者也可以直接与自己 的个性化认知地图交互,选择想学习的知识点或教学资源。多维度的学习报告以可视化方式呈现给学习者或者家长,让其了解阶段性学习的数据和意义,如学科能力素养水平、优势知识点、累计观看的视频资源数量等。学习者在家与机器人的互动学习或在线学习行为,如学习内容、观看时间、停留学科等信息,也可以传输和共享给学校教师端,帮助教师及时了解学习者在家中的学习状态。
(三) 学习督促提醒
根据阶段性学习报告发现的问题或者学习障碍,教育机器人可以语音提醒学习者或家长。同时,根据学习计划,“智慧学伴”教育机器人可以利用其无线通讯模块,连接学习者手机、智能手表或者手环等可穿戴设备,追踪学习者的实时位置,并在适当时间提醒其学习。如果学习者不在家庭学习区域或未能按时完成学习计划,“智慧学伴”教育机器人可以发督促指令,制定干预措施,鼓励其按时学习。
(四) 学习陪伴激励
机器人需要引导学习者逐步建立较好的人机关系与情感连结,使学习者熟悉与机器人交流的途径和方法。具体而言,“智慧学伴”教育机器人在首轮交互中,会通过自然语言、人脸识别、游戏问答等方式,完成自我介绍、学习者信息采集( 包括人脸、姓 名、学习基础和背景等) 与存储、人机交互模式设置等( 如语音或者触屏交流等方式) 。在此基础上,机器人利用人脸识别登录功能,在确认交流对象身份和个体信息的基础上,根据学习者的偏好采用不同风格的交流方式和昵称,创设符合学习者特点的学习场景。同时,机器人多个传感器对学习者的学习情绪与专注度等重要指标实时监测,如感知到学习者处于负面学习状态时,会触发对话代理引擎,对学习者进行询问,与学习者进行非教学内容的自由聊 天或建议学习者短暂休息,从而满足学习者归属感需求。“智慧学伴”教育机器人也采用积分等奖励机制,或跳舞等方式,以提高学习者的胜任感。
(五) 家长教育助手
“智慧学伴”教育机器人能够作为家长的助手。它可以通过学习者的个体认知地图展示等,帮助家长辅导学习者。如果家长学科知识不够,可以通过机器人的问答引擎询问和求解。同时,教育机器人还可以在家庭端替代家长规划学习者的家庭学习内容与活动时间,确保家庭教育有序开展。
五、趋势与展望
(一) 教育专业化
当前最丰富且优质的教学资源仍然以人类教师授课为基础进行设计,教育机器人只能针对某些特定学习内容的简单知识记忆进行教学,如何针对教育机器人的特点对教学资源进行开发,包括机器人教学方法的顶层设计、专业学科的知识图谱建设、基于认知科学的教学策略实施等,都是教育机器人走向教育专业化的重要保障。
(二) 交互智能化
人类教师与学习者的实时交流与反馈可以及时满足学习者答疑解惑的需求,还可以满足学习者沟通表达的情感需求。人机交互等技术的采用可以降低学习者与教育机器人之间的交流阈值,保证相互之间信息交流的便捷性和通畅性。随着人工智能领域自然语言处理技术的发展,教育机器人需要提高其交互的自然性和高效性,如实现教学目标驱动的聊天对话系统,引导学习者在交互中完成特定学习任务,使交互具备教育意义及智能性。
(三) 感知情境化
不同的教育场景和教学内容,通常需要对学习者进行不同维度的观察和理解。因此,教育机器人需要根据不同的教学情境,主动感知学习者学习状态及其学习环境。教育机器人将拥有越来越丰富的嵌入式传感器,各类环境与可穿戴设备等可以为其提供基础数据。基于人工智能领域的情境感知与情感计算等技术,教育机器人需要具备将这类数据转化成可以对学习者内在情绪、专注度、心理需求等进行感知的能力,并在此基础上提供自适应教学服务与支持
|