今天非常荣幸能够来到江南大学和各位老师、学生一起分享和交流。我来自湖南大学设计学院，我在学校主要是做情感计算，特别是多模态和多通道情感识别在人机交互领域的应用。大家知道最近两年VR技术特别火爆，在硬件、内容和交互层面都有大量的应用产生，所以随之带来的是很多用户体验的问题。所以在VR环境下如何去度量用户的情绪，是我们非常关注的一点。这就是我今天带来的主题，也就是VR语境下的用户体验设计与情感计算。首先情感计算这个概念，其实是来自信息学科，它是由MIT媒体实验室在1997年提出的，他认为情感计算应该是包含一切与情感相关，来源于情感或者是能够对情感施以影响的计算。这个概念听起来比较拗口，但是它的本质是对情感的识别与测量。

经过二十年的发展，这门学科已经成为人工智能领域的重要方向，广泛应用于教育、医疗、交通、商业等各个方向。这其中包含了用户体验、可用性、人机界面设计与人机工程等设计学问题方面。对用户体验来说，我们从来没有像今天这样强调情绪的重要性，不论我们的设计焦点是一款造型、一个界面交互还是体验，我们都需要在设计过程中去感知用户的情绪并做出有效的传达和反馈。随着情感计算的发展，使得我们在传统的主观用户研究之外，可以寻求更多的技术选择。

信息化智能化方兴未艾。从2012年开始，河南省农机部门积极探索“互联网+”、智慧农机、精准农机信息化建设，启动了“河南省农机跨区作业信息网络设施和智能调度服务平台”项目建设，建设了“河南省智慧农机信息管理平台”，开发了手机终端APP，实现了远程监控、调度、轨迹查询、面积产量计算等。大力开展土地深耕深松信息化监测建设，全省1300万亩土地深松作业，全部用上了信息监测平台和监测终端，实现100%信息监测。同时，许昌市、周口市率先在全省开展“互联网+农机”新型监管模式，建立了信息指挥中心，对拖拉机、联合收割机实行远程监控。东方红LF1104-C无人驾驶拖拉机在我国智能拖拉机研制领域处于领先地位。

美国作为世界第一大经济体，在政府的主导作用下，为鼓励社会力量参与养老事业，构建多层次、立体化的养老模式，将福利化与产业化进行有效的融合，充分发挥市场机制的作用，政府与私营部门在养老领域的合作水平较高。

这就是用户体验和情感计算的两种研究体系，用户体验和情感计算的共同点就是它们都非常关注用户的心理状态，尤其是情绪心理。这种情绪过程通常是与我们对一个体验的个人意义的评估，进而反映在主观体验、生理信号、行为指标三个方面。这也恰好对应用户体验研究框架当中的，诸如问卷访谈这样的主观方法，以及生理测量、行为学分析这种方法体系。而对情感计算来说，更多的是用客观的方法，也就是用各种传感器来采集人们由情感引起的语言、语音、面部表情、身体姿态以及各种生理信号。通过这种方式，利用情感模型进行分析和识别，在理解人的情感的基础上做出智能、友好的反馈。

情感的度量有很多方式，或者说有很多模态，其中情感视觉研究在用户体验当中主要是用行为学的方法，人脸表情是人机交互主要的情感传达渠道。除此之外还包括语音情感，这方面主要是通过对说话人的音质、音色、持续时间、音高等等一系列参数的提取和识别，来实现情感的度量。例如像Beyond Verbal这家公司，他们可以在超低延迟的情况下，实现对任何视频和语音片段的情感识别，并给出一系列的情感词汇。这种方法非常适合我们在用户体验研究当中，对口语分析、情感语义编码等方法，进行很好的辅助。

在数字信息技术的飞速发展下，嵌入式学科服务带来是高校进一步服务用户、展现资源的重要形式，是高校图书馆的服务内容、服务方式转型的重要契机，针对嵌入式学科服务所面临的问题，可以从如下几个角度进行变革。

没有野鱼有野味。野鸭野鸡野猪肉，飞鼠果狸梅花鹿。一桌菜上得色香味应有尽有，极尽豪华。好菜岂能不配好酒？酒是本地驰名的极品一号，开瓶透香，被服伺小姐满满地酌了两杯。

生理信号是一种难以伪造的测量，并且它与视觉、语音信号这种短时特性不同，它是非常长时间的连续信号。所以它非常适合在丰富的复杂的情境下，包括VR情境下，进行生理测量。这一点已经在前两年的，像智能腕表、智能手环等穿戴设备里面得到了证实和广泛应用。

生理指标包含两个方面，中枢生理和周围生理指标，不同的用户体验研究目的不一样，测量手段也不同。如果我们关注的更多的是情绪的唤醒度，也就是情绪的强烈与否，心率、皮肤阻抗、呼吸信号就是首选。如果我们关注的更多的是情绪的正负，这时候用表面肌电会是不错的选择。

眼动追踪过去主要是关注用户的认知心理，而诸如瞳孔尺寸这样的参数也在很多情绪研究中得到很多使用。2015年以来，随着VR的火爆，国际一线的眼动追踪大厂也开始把眼动追踪技术由眼镜式向头盔内嵌式转型，来支持VR语境下的用户研究。但这种VR语境下的眼动头盔造价比较昂贵，一般都是在20万以上。大家知道现在VR的头显市场变数很快，所以这样的做法并不科学也不环保，反倒是像日本今年发布的消费级的眼控头盔会是未来的趋势。

在我看来，写作多年之后，“地下人”系列小说使黄金明的写作面目得到了全新的生成。“地下人”系列包括《剧本》《寻我记》《实验室》《蝉人》《看不见风景的房间》《倒影》《小说盗》《讲故事的人》等八篇。小说采用了橘瓣式结构，每篇各自独立又相互渗透，想象了人类在21世纪中叶的生存境遇、精神生活及其出路。“地下人”系列小说既通过对未来世界的空间及变形想象（胶囊公寓、人造天空、人造宇宙、逆进化的人等等）而包含了对现实的寓言化指涉，同时，这批小说由于内在的多声部复调特性和对小说本体的探讨而具有相当强的实验小说、元小说特征。某种意义上说，“地下人”系列的最大价值恰在于它的现实关怀和实验激情的融合。

我们除了可以进行单一模态的情感识别之外，近年来使用多种情绪识别手段进行综合的情绪评估成为一种趋势，可以得到更高的情绪识别率。也就是我们可以同时使用面部表情分析、各种生理指标、眼动追踪，结合主观的量表一起共同进行情绪识别。具体的模态组合有非常多的方式，我们选择的时候除了考虑我们的实验目的和实验条件之外，这些选择也会影响到情绪识别模型的复杂程度，需要我们在具体实验当中进行判断。以上讲的都是在常规情境下的用户体验度量。

今年被称为虚拟现实元年，表现在政商学术界对VR相关的技术探索和应用都表现出了极大的热情，出现了一大批的VR体验。这些体验带给我们前所未有的沉浸感的同时，也带来了很大的体验问题，对我们的设计提出了更新的要求。

体验过VR的人都知道，直到今天VR的一大问题仍然是晕动症，也就是眩晕。这里面除了个人因素和硬件因素之外，作为设计师完全可以通过科学的UI设计和交互设计，来改善和提升用户体验的。看一下VR的典型场景里面有哪些需要注意的用户体验要素。

首先，虚实相生游戏先行。从传统游戏过渡到VR游戏之后，我们会抛弃掉过去传统游戏所大量使用的对话框这种交互模式，我们需要在完全沉浸的情况下用一种新的方式告诉用户他是谁，他在哪，他要做什么。此外游戏需要用户做大量的操作，视觉上过于华丽的界面会对用户造成很大的负担。这一点跟传统的页游、手游甚至端游都有很大的区别。因为密集的信息会让用户在心理上无所适从，甚至会加剧眩晕感。

1995年后，皖河流域含沙量显著下降。20世纪70年代后，植树造林活动开始，进入80年代，安庆市加强了对水土保持工作的领导，重点水土流失县将水土保持工作纳入国民经济发展规划，森林覆盖率有所提高，其后，经过20多年积累，效果开始显现。本世纪初，安徽开展生态省建设，生态保护得到高度重视，投入大增，森林面积和质量在原有基础上发生了质的变化(表2)。

1990年天津手表生产的一款“ST11型”机心的石英电子表在波兰“波兹南国际钟表博览会”上获国际金奖，这是国产手表第一次获得的国际金奖。

主题公园，VR体验馆和旅游，这是目前VR线下的主要火力点。厂家为了追求刺激的体验，不少的体验馆或者主题公园，他们把过山车都配备了VR，可以让用户在游戏和现实当中同时急速的下降和上升。这种体验有两大优点，第一是我们不需要耗费巨资占用很大的场地去修建整个的轨道，而是可以通过像蛋像飞船这样的设备去进行模拟。而且玩家在头盔中看到的也绝不是轨道，而是科幻的魔幻的甚至是二次元的世界。这就是最强的代入感。

除此之外，为了让用户在一个相对空旷的博物馆里面去了解所有的展品。我们需要对虚拟环境里面的展品的摆放，甚至是NPC的走位都有一个适当的引导和再设计，突出交互性。

在这篇SCI论文里面，作者试图研究沉浸式VR体验当中用户的情绪反应与非VR的体验又何不同。研究方法是从情境图片库里面提取12张最积极和最消极的图片，让用户在戴上设备之后有一个重新的体验，在体验过程中进行皮肤电的测试，并进行情绪打分。结果发现在VR情境下的所有图片均诱发出更高的唤醒度，也就是说更强烈的情绪。其中包括像蜘蛛跟蛇这样的恐怖图片，更容易引起极端消极的情绪。也就是说VR会对情绪带来显著的增强。此外，用户在VR里面的注意力也会更强更加集中，这在产品设计和评估上会有很好的应用潜力。

采火草：采火草叶一般在农历六月二十四日火把节至八月十五之间，清洗干净，洒水保鲜并在三天内撕百绒。过了这段时间不宜采，节令过后，火草白色绒不易撕。

最后我们还可以通过模拟最自然的交互，设计出非常多的有趣的互动情节。比如目前在STEAM平台上一个非常著名的VR，叫做梵高的一间咖啡馆，在座的很多人都看过那幅名画。国外有家公司把这个梵高的名画从2D变到3D，但是同时保持了梵高的色调，保持了梵高的风格。用户可以戴上头盔之后，自己走进那间咖啡馆，上下楼，然后看到原画里面每张桌子每个人。我们可以去体会梵高当时的创作过程，甚至我们可以去跟随梵高的视野，向窗外看去，看到梵高的星空。这就是互动体验的魅力。

第三个方面是虚拟博物馆，虚拟科技馆，艺术馆等等。在虚拟场馆中不会再有人山人海，我们可以有更多的时间和想象力去考虑如何去进行舒适的空间设计，让用户了解每一件作品背后的故事。

然后另外一个国家科技支撑计划子课题是做服装的虚拟展示，我们主要基于人体数据的快速获取和人衣自适应拟合的基础上，来做这个服装设计的评价。我们除了在做感性影响评估之外，还准备做一些基于主客观情感度量的研究，让用户在VR的环境下知道自己喜欢什么样的衣服喜欢什么样的搭配。

此外，随着现在光学定位，VR背包，还有像力反馈和震动反馈的背心设备的发展，可以使得虚拟跟现实之间不再是割裂的世界。也就是我们可以用真实来增强虚拟。通过精准的光学定位和惯性动作，我们可以在真实的世界当中，手里握着一根木棍，但是在虚拟世界当中拿到的是一把剑等等。而且在这种情况下可以实现虚拟跟真实的完美同步。很多专业人士认为，这才是VR线下娱乐的未来。

VR用户体验是当前一个热门话题，每个团队都在路演的时候强调体验。但是其实很多人在一定程度上是概念的炒作。另外一方面也是把硬件的参数提升简单粗暴的和用户体验之间划了等号。我们围绕VR语境下的用户体验研究进行了相关的论文搜索，主要瞄准的是人机交互、人工智能相关的一些近三年的论文。相关的研究还是比较少的，比如这一篇，它是2015年的CHI杂志文章，它做的是面向博物馆的VR体验研究，作者提出了一个由认知度、激发度和唤醒度所构成的一个兴趣度模型，用户在体验一个VR的博物馆旅游的时候，会对相应的这些元素进行针对性的生理信号的探测，然后在体验结束之后会得到一个兴趣度的模型，从而优化用户的参观体验。比如我们可以在参观中剔除一些他们不感兴趣的东西，而强调他们感兴趣的文化元素等等，可以使他们在参观过程中始终保持印象深刻。

第二大主题是购物，昨天是双十一，业界有两件大事发生，第一件是马云的败家VR正式上线，第二件事是HTC的中国区正式发布了无线版解决方案，标志着主机VR正式走入无线时代。在新一代的VR购物的环境当中，我们要更加重视店家和商品信息的视觉呈现，避免文字的大量堆积。因为VR购物本身是一种重体验轻浏览甚至是轻效率的过程。如果只是一味的浏览文字信息或者只是看到了一些立体的商业产品的话，其实并没有任何商业价值。如果我们只是追求下单的高效率的话，我们完全可以用手机或者是网页来实现。VR的优势就是可以让我们在买厨具的时候体验一套完整的做菜过程，让我们在买车的时候可以看到汽车的动力学，甚至还可以自由的搭配、拆装、定制、模块化，这些可操作的细节设计正是VR购物情境下的特殊要求。

情境体验是虚拟现实最大的魅力，在一个真实场馆里面我们可以了解一件古代展品的纹路、佩饰和材质，但是在VR世界里面，我们可以除了近距离把玩之外，还可以直接去到那个时代，去用另外一个身份感受展品本来的面貌。

这一篇是发表在计算机图形学的顶级期刊上，是今年的文章，它主要在研究虚拟人物的外观仿真度以及情绪和行为会在多大程度上影响用户的情绪反馈。在这篇文章里面作者提供了三种不同层次的仿真度的虚拟人物外观，分别是高仿真度低仿真度以及手绘风格的仿真度。结果发现，在仿真度很高的虚拟环境当中，用户会更加关注比如虚拟人物的首饰以及说话的语气等等。

除了国外研究之外，我们也做了一些相关的研究。这是一个国家科技支撑计划，会在两天之后在北京答辩。其中一个子课题是做了围绕岳麓书院做的3D虚拟重建和虚拟漫游，我们基于这个实拍航拍以及大量的文献资料，对岳麓书院进行了还原。这个漫游效果也是在去年的意大利世博会上做了展示。

以菏泽学院化学化工学院为例，其下设站长一名，副站长两名，组织部、纪检部、宣传部、网信部、秘书处部长各一名，学生党支部所有党员、预备党员积极、入党积极分子都是成员。自成立以来，形成了“公告公示、联系同学、检查监督、例会汇报”等4项工作制度的党建进学生公寓新模式。

第三个课题是我们目前刚刚开始做的VR情境下的设计方案评审。就是说戴上头盔之后，看到一辆1：1比例的真车，我们可以在虚拟环境下评估这辆车的概念草图、结构工艺、数字模型等等。然后在测试的同时，我们会戴上一些生理传感，比如说表面肌电、心率、皮肤电等等，来判断用户的客观特征值和主观感性之间的关联。此外还做了很多关于汽车虚拟展示、文物展示、虚拟家装等等相关的横向课题。

最后分享一个我们做的基础研究的案例。这项研究的灵感来自于我们之前做的一款医院题材的恐怖VR游戏，这个游戏我们当中采用了惯性动作捕获进行虚拟角色的动画采集，以及玩家的动作模拟，以及交互事件的触发等等。剧情设计和关卡设计是非常复杂的，玩家可以体会到虚拟人物的内心的焦虑、恐惧、自责、释然等等不同的情绪。这里截取了恐怖的那几秒的视频。在游戏体验过程中，我们一直在思考一个问题，就是我们一直想获取到用户的实时的情绪，来帮助我们优化我们的游戏设计。比如说我们在游戏的某些场景希望可以诱发出我们所希望达到的效果，比如说自责、焦虑、悔恨等等。但是我们如果通过像主观问卷或者行为观察的方法，效果非常差，因为玩家往往不能正确回忆起当时经历的种种情感，而是被他最强烈的恐怖气氛所带动，我们无法进行非常实时和客观的测量。

这次体验大概有一百多位学生进行了体验，他们非常厉害，不仅可以把自己吓个半死，还可以把周围的人吓个半死。所以正是通过这次展示，才让我们决定尝试研究用户情绪的实时度量和生理信号测量之间的关系。这个视频我不方便放出声音来。

这位是我们的何院长，这就是这款游戏的灵感。所以我们设计了这款游戏之后，针对这款游戏进行了一个基础研究，我们提出了一个研究思路，就是基于生理信号采集来获取用户的情感。我们在游戏当中采取了这些生理信号。戴上头盔之后，测量脑电，测量表面肌电，表面肌电是放在人的脸部，是在皱眉肌和颧骨位置的两块肌肉，分别用来表现用户的负面情绪和正面情绪。以及心率和血容量搏动，是在手指的位置，一般是放在玩游戏的非优势手上面。这是情绪的测量方面，在情绪的识别阶段是符合模式识别和机器学习的一般流程，包括了信号处理、模式分类以及结合错误检测的算法改进等等。

我们在这个基础上，因为这个实验本身比较复杂，而且VR游戏体验时间比较长，所以我们被试并不是很多，是经过了身心健康的筛选和心理量表的填写。我们在实验的过程中，除了对我们自己做的游戏进行测试之外，我们还在STEAM平台上挑选了目前VR领域最火的前一百个游戏当中进行筛选，挑出了二十段游戏，每段游戏找出120秒到200秒的我们认为有代表性的情节，然后根据情绪划分，划分为从唤醒度和效价两个维度，也就是情绪的强烈与否和正负与否，这两个维度进行划分。然后这是实验的研究范式，我们尝试把不同唤醒度的游戏片段进行随机打乱，但是要保证在每次游戏体验之前都有一次中性情绪的视频进行情绪的平复。用来所有中性的游戏体验的片段是来自于我们之前自己拍摄的一些风光类的VR视频。

这是信号测量的结果，来自脑电、血容量搏动、表面肌电和皮肤阻抗，然后我们在此基础上提取了很多情绪特征，我们特别针对生理信号这种高度非稳态和非线性的信号，所以我们提取了一些非线性特征。然后在此基础上进行特征的筛选、优化，取得一个最优的特征集。

这个就是我们取得的研究成果，也就是我们找到了跟情绪不同维度之间关联性为强的特征子集，这些特征有一些是可以直接解释的，比如像脑电在CP6电极位置的α波的密度等等，还有一些特征是无法直接解释的，因为经过了非线性的换算。此外我们还通过尝试多种分类器的方法，来寻求一个最优的识别率。这就是我们的最后的结果。最优的分类结果是用随机分邻算法，取得了83.79%的唤醒识别率，这个算法还在不断的优化。这只是我们基础研究的第一步，接下来我们会针对游戏设计的情节展开更多的研究。

因为在VR市场里面有非常多的变数，包括头显，包括情绪度量的方法，都在不断的迭代。会发现有很多像头盔加肌电、头盔加人脸表情识别、头盔加眼动识别等等，那么正是由于这些无线、便携、稳定而且友好的设备出现，才能支持我们不断的进行实验优化和改进。

这就是我今天的分享，谢谢大家。