智能教学系统(Intelligent Tutoring System, ITS)是以认知科学为理论基础，综合人工智能技术、教育心理学、计算机科学等多门学科的成果而形成的一门对学生实施有效教育的技术[1] 。智能教学系统模拟人类教师教学，注重因材施教，对用户提供一对一的个性化指导。在系统开发过程中，虽然已经非常注重知识表示、教学策略、学生模型等环节设计，但还是不能取得和人类教师同样的教学效果。究其原因，一个潜在的重要因素是其未能合理利用学习者的情感变化。Picard教授在《情感计算》一书中指出[2]：“好的教师总能察觉学生重要的情感线索，然后据此作出不同的反应，知道在学生遭遇挫折以后如何去引导和激发学生。不能识别人类情感的计算机是严重残疾的，尤其是在扮演导师或指导员这样的角色时...”，她建议所有的学习系统要有情感状态。研究人员开始认识到如果能够捕捉学习者的情感状态并加以合理利用[3]，将会极大地提高智能教学系统的表现。[4-5] 针对传统智能教学系统在情感交互方面的缺失，融合情感的智能教学系统已经被设计和开发以应对学习者在学习过程中的情感状态。[6-7]Ben、等[8] 提出了一种基于多代理的情感教学系统(Affective Tutoring System，ATS)，通过Agent 管理学习者的认知及情感模型并表达情感。Mao等[9]开发一个情感教学系统，用来调查影响学习者使用情感教学系统满意度的关键因素。 Sarrafzadeh等[10]设计了一个名为“Easy with Eve”的情感教学系统，通过动画Agent 来和学生交互，它可以通过面部表情分析来识别学生的情感，且可以表达自己的情感状态。为了确定并合理化学生的兴趣、压力及学习效率，Kaklauskas等还利用情感教学系统来建立环境管理。[11]

有限状态机(Finite State Machine, FSM)是一种基于规则的对话管理模型，因设计简单、容易实现等优点在对话系统理论研究和实践开发中被广泛采用 。[12]陶建华、等[13]以FSM结合填槽法作为对话管理模型，将系统的状态设置为解答、询问、漫谈三类。当用户出现正面情绪的时候，系统转入漫谈状态活跃气氛；当用户出现负面情绪的时候则转入询问状态进行安抚，在一定程度上体现了系统的情感应对。基于FSM的对话管理模型通常都是建立系统状态机模型，将系统对用户意图的观察结果作为状态转移的条件，对话效果完全依赖于系统的语音识别和语言理解能力。为了降低这种依赖性，Ren、等[14]曾构造两个有限状态机来分别对用户和系统进行建模，用状态机之间的信息交换来模拟人机对话过程，据此提出一种基于TFSM(双有限状态机)的情感对话管理模型，提供信息查询服务的同时响应用户获取信息后的情感状态。仿真实验表明，基于TFSM的对话系统效果要优于单个状态机。本文将上述TFSM对话管理方法进行应用移植，面向智能教学系统领域，以智能教学和情感交互为预设对话任务，构建一个基于TFSM的情感教学系统对话管理模型，并利用平均回报值的量化评价方式对提出的TFSM模型进行仿真建模和实验分析。

1 基于TFSM的情感教学系统对话管理模型

1.1 双状态机设置 为简化模型，用户状态集共设置5个状态：初始状态s0、学习状态s1、提问状态s2、情感表达状态s3、结束状态s4。在学习状态下，用户给出想要学习的内容或目标；提问状态则是对不能理解的教学内容提出疑问；情感表达状态描述了用户在学习过程中的情感变化。模型假定用户在开始对话前总是处在初始状态，对话开始后即进入到学习状态，并在结束状态下结束整个人机对话。在三个中间状态(学习、提问、情感表达)下，用户可以根据当前需要自由选择不同的状态转移方式。在此基础上，我们首先建立了用户的FSM 模型(图1左边)，来模拟用户在对话过程中可能出现的各种状态转移。

对应用户的状态及FSM模型，相应地设置了系统的状态并建立了系统的FSM模型(图1右边)。它也有5个状态：初始状态、教学状态、答疑状态、情感响应状态及结束状态。初始状态和结束状态分别描述了系统在对话开始前和结束时所处的状态；在教学状态下，系统将针对用户的学习目标介绍或提供相关的教学内容(文本、视频等)；在答疑状态下，就用户对学习内容提出的一些问题给予答疑或针对性辅导；在情感响应状态，系统将根据对用户当前情感状态的观察，给出表扬、鼓励或安慰等方式的情感响应，体现智能教学过程中的人机情感交互。

“肇庆市水上搜救分中心，‘粤肇庆渡026’呼叫，我船在丽晶渡口对开水域与一艘下航的浓硫酸船‘粤肇庆槽333’发生碰撞。我船有多名乘客落水，情况危急，请求救援。”

观察函数P(o′|a,s′)，表示系统输出动作a后，用户状态为s′时，系统观测到观察值o′的概率，通常用来刻画系统对用户状态的识别率。在本模型中，我们假设系统总是能够识别用户状态s0，在其他状态下等可能地发生识别错误，具体定义如下：

在上述TFSM模型中，我们将用户和系统状态机的输出信息分别看作是对方的输入信息，通过两个状态机之间的输出信息交换来描述系统和用户之间智能教学的过程。与各自内在状态相对应，我们分别列出用户状态机的输出信息集OU，及系统状态机的输出信息集AS，具体见表1。需要指出的是，表中的输出信息ui和ai(i=0,1,2,3,4)仅代表当前输出信息的特征或类型，它们的具体内容在每轮对话中都会被不断地更新。

  

图1 基于TFSM的情感教学系统对话管理模型框架

 

表1 用户和系统的输出信息集

  

i用户输出信息集 OU={ui}系统输出信息集 AS={ai}0开始对话问候1想学习的内容或目标介绍相关教学内容2对教学内容提出的疑问对疑问进行解答3学习过程中表现出的情感情感响应动作4要求结束当前对话结束对话动作

1.3 系统对话流程 基于TFSM的情感教学系统对话流程具体如下：

经T22仍留在提问状态继续提问，继续发送另一个问题信息u2给系统；系统收到后将留在答疑状态继续答疑，开始新一轮提问-答疑循环；

(2) 在学习状态s1，用户将发送一个学习目标信息u1给系统(处在初始状态)，系统收到u1后将转入教学状态，并给出一段教学内容a1给用户。用户学习后将产生四种可能的状态转移：

经T11仍留在学习状态，学习新的教学内容(已理解教学内容)，并继续发送学习目标信息u1给系统(处在教学状态)，开始新一轮的学习-教学循环；

经T23转入情感表达状态；

经T13转入情感表达状态(表达主观情感)；

经T14转入结束状态并结束整个对话。

(3) 在提问状态s2，用户将发送一个学习目标相关的问题信息u2给系统(处在教学状态)，系统收到u2后将转入答疑状态，并发送答疑内容a2给用户。用户接收后也将产生四种可能的状态转移：

经T21又转入学习状态，发送学习目标信息u1给系统，系统收到后转入教学状态，开始新一轮教学；

从以上数据来看，武隆区通过保险保障（各类保险保障）、医疗救助（临时救助、卫计委救助、保险补助）、低保兜底（特困群众）、残疾人补助（残疾人扶持）等社会保障机制对脱贫后扶的现状有明显改善，但同时也表明了武隆区范围内仍存在较多深度贫困人口。因此，打牢后扶稳固平台，重点做好返贫扶贫帮扶机制，提高边缘户、返贫户的监测力度，完善社会保障机制，精准施策、精准扶持，例如将收入低、患大病、丧劳力、受灾害、受高等教育等5类困难农户纳入动态监测的重点；对符合建卡条件的，按程序识别为贫困户，次年不再监测；对暂不符合建卡条件的，纳入监测范畴，并落实民政救助、临时救助等措施，最终实现武隆区脱贫后扶的成功开展。

通报上个森林防火期全市森林防火工作情况，分析今冬明春森林防灭火形势，进一步明确市森防指各成员单位承担的森林防灭火工作职责，对下一步全市森林防灭火工作作出安排部署。

(1) 在初始状态s0，用户将发送一个开始的信息u0来启动对话，系统则反馈一个类似“问候”的动作a0给用户，使得用户经T01转入学习状态。

经T12转入提问状态(对教学内容有疑问)；

经T24转入结束状态。

(4)在情感表达状态s3，用户将发送一个情感表达信息 u3 给系统(处在教学状态或答疑状态)，系统收到后将转入情感响应状态并发送一个情感应对a3。当用户在情感表达状态下收到情感反馈a3后，也有三种可能的状态转移：

国有企业要以风险为核心、以财务管理为核心、以内部控制管理为主导，不断深化企业资金链。根据国家主导方针或市场需求，不断调整符合企业发展方向的国有企业资本运营方案。

据笔者统计，具有代表性的语言文化类客户端共计15个，作为工具类客户端占比66.7%，其余类型包括娱乐类与社交类。语言文化类APP具有较强互动性，增强用户与平台的黏性，在知识普及、游戏互动以及社交方面起到积极作用。同时也具有较强实用性，如古诗词典APP，下载量高达875万人次。该APP内容丰富，涵盖唐诗、宋词、元曲、古诗、楚辞等经典之作，针对学生人群打造与教育部专属配套小学、初中和高中语文教材配合使用，让学习和课程相结合，系统会根据用户使用情况智能安排学习和复习。

可能经T31又回到学习状态，并发送一个新的查询信息u1给系统，系统将回到教学状态，又开始新一轮的教学；

可能经T33仍停留在情感表达状态，且发送一个新的情感表达信息u3，开始新一轮的情感表达-情感响应对话；

可能经T34直接转入结束状态。

(5) 在结束状态，用户将发送一个结束信息u4给系统(可能处在教学、答疑或情感响应状态)，系统将转入结束状态并执行一个结束动作a4来结束整个对话。此时，如果系统发送了其他的错误信息，我们假设用户将不再回复，且经T44仍停留在结束状态。

依据上述人机情感对话的流程，我们建立了一个以状态转移函数体现的用户模型，称为用户状态转移模型，具体如下：

(1)

1号交通洞进口土洞段采取了“不灌浆小导管超前支护、全断面开挖、钢支撑与系统锚喷支护进行一期支护”的工艺进行施工，达到了安全、快速、经济的施工目标，取得了显著的经济与社会效益。

针对读者众多的信息诉求，图书馆在服务的过程中，可以举办不同形式的活动，达到服务读者的目的。例如，为了使读者熟悉图书馆馆藏的利用，举办“书库寻宝”活动，以不同的检索标识为标题，参与活动的读者通过分析题目，找出检索标识，借助馆藏查询系统，找到最终目标，达到掌握馆藏查询系统的目的；为提高读者的文学修养，图书馆举办阅读名著的征文活动，读者在阅读名著的过程中，潜移默化的提高自身的文学修养。滨州医学院图书馆还进行了信息推送服务，根据学科、专业内容，以专家、教授为服务主体，把专业期刊的目录、新人藏的图书目录以电子邮件的形式发出，接收到这些电子邮件的读者看到有关的内容，可以联系图书馆有关人员索取或到馆借阅。

(2)

用户状态转移模型主要记录用户在对话过程中可能出现的多种状态转移方式，可以通过收集训练对话语料的方式获得。受性格、对话习惯等因素影响，不同用户往往会有不同的状态转移模型。用户状态转移模型可以帮助系统预测当前的用户对话状态，提升对话系统表现。

2 仿真建模

用户状态集S={s0,s1,s2,s3,s4}，由用户状态机模型中状态构成，共有5类状态；

严重呼吸困难、缺氧伴有心力衰竭较重的宝宝应暂时停止进食，待病情稳定后再喂养，注意给予高热量、高蛋白、易消化、高维生素富有营养的食物（包括母乳），喂养要少量、多次、定时进行，不要过饱而妨碍呼吸功能及加重心脏负担。

Williams等在文献[15]中提出了一种“原则性(Principled way)”的方法，利用POMDP模型中的平均回报值，针对同一对话任务，将基于状态机的对话管理策略和基于POMDP 的对话管理策略进行直接比较。文献[14]借鉴这种做法，将TFSM模型和传统FSM模型效果进行了比较。本文也利用平均回报值来量化分析基于TFSM的情感教学系效果及影响因素。为便于理解，下面结合POMDP模型形式对本文提出的TFSM模型参数进行重新概述：

系统动作集A=AS={a0,a1,a2,a3,a4}，即系统输出的信息集，共有5类动作；

用户的状态转移函数T(s,a,s′)，由用户状态转移模型 (1) 式构成；

其中，FPPF，i和 FRef，i分别是 PPF 算法和所参考的CDF曲线上的值。参数N是在特定时间间隔内从CDF的范围中选取的定点数量。

其中s0= 初始状态，s1= 学习状态，s2= 提问状态，s3= 情感表达状态，s4= 结束状态。P(Tij)为状态转移Tij(从状态s=si，经动作a后转移到s′=sj)发生的概率，且满足

系统的观察集O=OU={u0,u1,u2,u3,u4}，由系统对用户状态的观察值构成。在本模型中，可以由用户的输出集代替。

1.2 对话管理模型框架 借助用户和系统的两个FSM模型，我们提出了基于TFSM的情感教学系统对话管理模型框架，如图1所示。其中实线箭头表示两个状态机内部的状态转移，虚线箭头则表示状态机各状态下的输出信息。这个交互框架与具体教学内容或领域知识无关，主要包括两个模块：智能教学和情感交互。

正如奥维德在 《爱的艺术》（de Arte Amandi）中所示：Si rota defuerit,tu pede carpe viam.（如果你没有车，就应该走着去）”⑬。

(3)

其中

pi=1-p(ui|si),i=1,2,3,4

(4)

分别表示系统对用户的输出信息类型ui的平均识别错误率。为后续实验需要，我们设置了三类概率：(1)假设(3)式中的四类识别错误率pi,1≤i≤4 都取相等值，该值可以理解为系统识别各类输入信息的平均错误率Perr；(2)假设对用户学习目标u1的平均识别错误率p1和对学习疑问信息u2的平均识别错误率p2相等，即p1=p2，共同作为系统智能教学模块的平均识别错误率PITS；(3)将对用户输出的情感表达信息u3的平均识别错误率p3视为系统情感交互模块的平均识别错误率Pac。

即时奖励值函数R(s,a)，体现了用户在状态s下对系统动作a的满意度，一般需要根据对话任务进行设置。 本模型中，我们制定即时奖励值的一个主要原则是给予“合适的”动作以正的奖励值，“不合适的”以负的奖励值，并依据“合适程度”设置奖励值大小，具体见表2。例如，当用户状态为s1(学习状态)时，给予合适动作a1(输出相关教学内容)奖励值“+2”，动作a2(对疑问进行解答)奖励值“+1”，动作a3(情感响应)奖励值“-1”，动作a4(结束对话)奖励值“-3”。

 

表2 系统动作的即时奖励值

  

R(s,a)a0a1a2a3a4s0 +2-2-2-2-2s1 -2+2+1-1-3s2 -2+1+2-1-3s3 -2-1-1+3-3s4 -2-2-2-2+2

系统的初始信念状态 b0=(1,0,0,0,0)，表示开始对话前用户处在初始状态s0 的概率为1，其余状态的概率为0，所有实验中的折扣因子设置为γ=0.95。

3 结果及分析

基于POMDP近似算法Perseus ，我们在主频2.80G，内存为8 G的普通个人计算机上对提出的TFSM对话管理模型进行了仿真实验。实验的主要目的是分析模型的一些关键参数，如状态转移概率、不同观察概率或识别错误率等对系统性能表现的影响。在实验中，我们在(1)式基础上选取了4种用户状态转移模型，具体见表3。在每个用户状态下，第一类T0的状态转移概率Pij接近相同，代表普通的用户；第二类T1转移到学习状态s1的概率Pi1较大，代表喜欢学习新知识的用户；第三类T2转移到提问状态s2的概率Pi2较大，代表喜欢提问题的用户；第四类T3转移到情感表达状态s3的概率Pi3较大，代表喜欢表达情感的用户。

 

表3 四类不同的用户状态转移模型

  

状态转移P11P12P13P14P21P22P23P24P31P33P34T0(一般)0.250.250.250.250.250.250.250.250.250.50.25T1(爱学习)0.70.10.10.10.70.10.10.10.80.10.1T2(爱提问)0.10.70.10.10.10.70.10.10.250.50.25T3(爱表达)0.10.10.70.10.10.10.70.10.10.80.1

第一个实验目的是评估平均识别错误率(平均错误率Perr、智能教学模块识别错误率PITS、情感交互模块识别错误率Pac)对教学系统表现的影响。在本实验中，我们先设定用户的状态转移模型为T0，实验结果如图2所示。

  

图2 三种识别率对平均回报值影响的比较

从中可以看出：(1)系统获取的平均回报值随三类识别错误率的增加都呈现递减趋势。这意味着识别错误率越大，基于TFSM对话管理模型选择的系统响应动作所获取的回报值越小，对话效果越差。即在相同的对话管理策略下，具有较低识别错误率的对话系统一定会表现更好。(2)对比PITS和Pac两种情形(此时其余的概率参数都设置为0.3)还可以发现：随着识别错误率的增加，PITS情形下获取的平均回报值要低于Pac情形，这说明了系统表现对平均识别错误率PITS的依赖性要比Pac更高，即智能教学模块识别错误率对情感教学系统性能影响更大。

第二个实验目的是探究表3中四类不同用户状态转移模型对系统表现的影响程度。我们以一般用户模型T0为比较对象，分别研究PITS和Pac递增条件下，系统在面对爱学习、爱提问及爱情感表达这三类用户时的表现，实验结果分别如图3、4所示。

图3显示，在三组用户模型下，系统获取的平均回报值都随智能教学模块的识别错误率PITS的递增而降低。相比较而言，识别率PITS较小时，系统的表现比较接近；但PITS较大时，系统在面对一般用户时的表现要优于面对爱学习和爱提问的用户。类似地，从图4中也可以看出，Pac较小时，系统在面对爱情感表达的用户时表现要略优于一般用户，但Pac较大时则表现不佳。实验结果表明，如果用户在其FSM模型的每个状态下倾向于选择某个相对固定的状态转移方式，那么系统只有在相应识别错误率较低的情况下才可能获得稳健的表现(如用户模型T1要求对学习目标的识别错误率P1较低，而用户模型T3则要求对学习情感表达的识别错误率P3较低)，这种用户状态转移模型对系统单一模块的识别能力要求更高。

3.教师进行适时反馈：教师的反馈可以渗透于写作过程的各个阶段，如对学生的速写、草稿、以及同学之间的修改稿等作出评价；同时从学生作文中抽出病句分散给学生修改重写

 

图3 三组用户状态转移模型对平均回报值影响的比较

图4 两组用户模型对平均回报值影响的比较

4 结束语

本文建立了一种基于TFSM的情感教学系统对话管理模型，该模型面向情感教学系统领域，以智能教学和情感交互为预设对话任务。仿真实验利用平均回报值函数，对用户状态转移模型、平均识别错误率等模型关键参数对系统性能的影响进行了量化分析和评价。后续准备在智能教学领域收集一定规模的情感对话语料，在此基础上进一步改进TFSM及其中用户状态转移模型。

参考文献:

[1] 许高攀，曾文华，黄翠兰．智能教学系统研究综述[J]．计算机应用研究，2009，26(11)：4019-4022．

[2] Picard R W. Affective Computing [M]. Cambridge:MIT Press, 2000.

[3] Chaffar S, Frasson C. Inducing Optimal Emotional State for Learning in Intelligent Tutoring Systems [J]. Intelligent Tutoring Systems, 2004:45-54.

[4] Litman D J, Forbes-Riley K. Recognizing Student Emotions and Attitudes on the Basis of Utterances in Spoken Tutoring Dialogues With Both Human and Computer Tutors [J]. Speech Communication, 2006, 48(5):559-590.

[5] 吴彦文，刘伟，张昆明．基于情感识别的智能教学系统研究[J]．计算机工程与设计，2008，29(9)：2350-2352．

[6] Petrovica S, Anohina-Naumeca A. Design and Implementation of Agent Interaction Mechanisms for Emotionally Intelligent Tutoring Systems[J]. Applied Computer Systems, 2012,13(1): 44 -53.

[7] Kanjilal D. Study Buddy: An Emotionally Intelligent Tutoring System[J]. International Journal of Computer Applications, 2014, 99(9):20-23.

[8] Ben A M, Neji M, Alimi A M, Gouardères G. The Affective Tutoring System[J]. Expert Systems with Applications, 2010,37:3013-3023.

[9] Mao X, Li Z. Agent Based Affective Tutoring Systems: A Pilot Study [J]. Computers & Education, 2010, 55(1):202-208.

[10] Sarrafzadeh A, Alexander S, Shanbehzadeh J. Affective Tutoring System for Better Learning [J]. International Journal of Mobile & Blended Learning, 2009, 1(1):61-77.

[11] Kaklauskas A, Kuzminske A, Zavadskas E K, et al. Affective Tutoring System for Built Environment Management[J]. Computers & Education, 2015, 82:202-216.

[12] 王玉，任福继，全昌勤．口语对话系统中对话管理方法研究综述[J]．计算机科学，2015，42(6)：1-7．

[13] 杨明浩，陶建华，李昊，等．面向自然交互的多通道人机对话系统[J]．计算机科学, 2014, 41(10) ：12-18．

[14] Ren F J, Wang Y, Quan C Q. TFSM-based Dialogue Management Model Framework for Affective Dialogue Systems[J]. IEEJ Transactions on Electrical and Electronic Engineering, 2015, 10(4):404-410.

[15] Williams J D, Young S. Partially Observable Markov Decision Processes for Spoken Dialogue Systems[J]. Computer Speech and Language, 2007, 21(2): 393-422.