军委科技委主任刘国治认为 “人机混合智能将是未来智能的最高形式”，人机融合作为混合增强智能发展的一个关键方向，对未来载人航天，遥操作探测等领域能够起到重要的支撑作用。随着计算机技术、传感器、可穿戴设备及人工智能技术不断取得阶段性的进展，人机一体化也越来越广泛地引起了人们的关注，其研究核心是利用新型交互逻辑实现人体行为机能增强，建立异源多模态的人机交互范式，实现人与装备之间智能、自然的人机交互能力，建立一体化协同的信息流通机制。

本文针对人机协作的应用场景，创新性的提出一种脑控、眼控、增强现实等多种人机交互手段复合应用的新型人机融合智能操控技术框架，并构建一个全作业场景的视觉环境和便捷的辅助信息获取途径，重点解决人机协同作业中控制通道不足的问题。首先，进行头盔显示器与视点跟踪式眼动仪的结构一体化设计，开发与数字头盔相匹配的集成嵌入式增强现实作业环境，实现基于眼动跟踪的机械臂自由度选择和动作预选，然后通过对脑机接口稳态视觉诱发范式控制信息的识别，实现机械臂六自由度控制动作的稳定意图理解和精细控制。与现有技术相比，解决了单通道控制能力较弱、鲁棒性和稳定不足的问题。

1 头盔显示器与视点跟踪式眼动仪的结构一体化设计

本文采用的数字头盔显示功能为脑－机交互提供指令呈现，通过视觉跟踪检测和脑－机信号检测，实现对控制意图的解析，数字头盔是脑眼协同控制的硬件平台，其内置CPU、GPU和专门的全息处理器。黑色的镜片上包含了透明显示屏，并内置了一整套的传感器用来实现各项预置功能。双透明镜片各显示左右眼的内容，通过使用者的大脑，合成真实的3D全息图像，但使用者同时可以看到真实空间的物体。头盔上的电脑可以自主实现全息计算。使用者只要用目光和语音与内置的功能齐全的计算机互动即可。

在我国，由于农民生活的基本环境、文化氛围和基本的学习情况，加之农民在法律方面的普及程度不够深入，农民缺乏法律知识，不能合理地使用法律武器来保护其利益，使农民自身利益得不到有效保护。

小学生最喜欢的莫过于参加各种各样的活动，在小学数学教学中，教师也可以根据教材的具体内容，设计形式多样的竞赛活动来提高学生学习数学的兴趣，让学生以饱满的热情参与到趣味活动中来，在活动中体会数学带来的无限乐趣，对抗竞赛还能激起学生的好胜心，使学生积极开动脑筋学习数学知识，以求在竞赛中取得好的成绩，得到教师和学生的认可，以此来获得满足感。

在此基础上，本文利用延展星射线法来实现瞳孔轮廓特征点提取，即从图像中一个初始点延伸出数条等角度间隔的射线，然后沿着这些射线向外，对射线上的点逐像素求导。当某一点的灰度导数的变化大于某个门限阈值的时候，说明图像上这个点的灰度值发生了突变，很有可能是瞳孔轮廓上的特征点。

2 基于数字头盔的嵌入式增强现实环境设计

针对智能操纵任务需求，本文在数字头盔中建立增强现实场景环境，为基于脑电信号和眼动轨迹的新型人机交互控制模式提供支撑。该交互场景以太空作业环境为背景，包括机械臂建模、背景建模、控制轨迹建模等。

机械臂建模：按照真实的六自由度机械臂进行三维建模。各个自由度单独建模，结构细节和尺寸与真实结构相同，然后按顺序组合到一起。每个自由度在运动时，不影响另外自由度的状态，但是，整个机械臂按照从下往上的主从关系动作。即底座旋转时，带动其上部分；机械手旋转时，带动机械手动作，但子部件动作时，主部件不跟随运动。每个自由度的颜色有正常纹理颜色和高亮颜色二种。高亮颜色为红色，表征该自由度已经被选中，将要进行步进或连续动作。

则Ti时刻测量值与逼近值之间的误差可计算为：对 N个点估计的均方差为：

控制轨迹建模：对被抓持物体，建立出球体和正六面体。被持物初始状态置于地面上。动作轨迹符合机械臂的操作原理，每次只有一个自由度动作，然后换为下一个自由度动作。动作时间与真实的六自由度机械臂的对控制者做出的操作响应一致。

3 基于脑电信号与眼动信号的自然交互方法

完善的人才配置机制可以有效地保障人才资源的合理分配以及高效配置。目前社会需求对人才配置的机制的已经基本实现，但是仍然不健全，高校对于办学的自我约束机制需要进一步的完善，政府的宏观调控机制也需要完善。大学生的就业市场化和教育的体制改革无法做到同步，这样仍然会造成两者之间的矛盾。继续医学教育学生在接受囿于计划体制下的专业培养课程后，又带着这样的制度和规则进入到另外一种具有明显差异性的体制中，这样会导致医学教育管理常见问题出现制度方面的因素。

对缺失点平滑逼近的核心就是对公式（3）取最小值，本文采用最小二乘法建立 E(Δεi)关于自变量 a0和a1的二元函数，进而利用消元法求解，实现对缺失点数值的有效估计。

  

图1 脑眼多模态融合控制逻辑图

3.1 眼动跟踪算法

在硬件设备的基础上，本文眼动跟踪控制的核心是通过角膜反射法实现关注点的精确测量。当眼球运动时，光以变化的角度射到角膜，得到不同方向上的反光，使得角膜表面形成的虚像因眼球旋转而移动，再经信号处理得到可定位的眼动信号。

眼动视觉数据的处理包括噪声滤除、识别定位及局部校准与补偿等，核心目标是提取出用于人机交互所必需的眼镜定位坐标。眼动跟踪算法设计主要分为特征点坐标提取和数据中断处理两个部分。

（1）特征点坐标提取

改进算法与原算法相比，增加了网格修正的过程。在网格修正过程中，算法将扫描一次所有存在数据点的网格，然后稀疏网格中的数据点进行操作，因此该过程的时间复杂度为O（m×w×d），其中m为存在数据点的网格个数，w为每个稀疏网格中包含数据点的个数，在正常情况下，稀疏网格中包含的数据点的数量应远小于数据集中所有数据点的数量，因此m×w≤n。在CLIQUE算法中，采用自底向上的方法进行聚类，算法的时间复杂度为O（nd+cd），c是一个常数。在本文算法中，增加了网格修正的过程，因此时间复杂度为O（n′d+cd），其中n′=n+m×w，又因为m×w≤n，所以 n′≈n。

LDA算法的具体过程是：

 

数字头盔基于主动投射共外线光速来提取特征，本文设计的装置是以双透明镜片为基础，每只眼睛周围设置8个低功耗红外LED，将眼球追踪传感器置于眼镜片下。检测装置采用模块化开发，使其很好的整合在头盔之中，同时可以根据使用者的特性将镜片置于特定位置，追踪速度达到120～380Hz，能够跟上眼睛的运动速度，实现准确、低时延的眼球追踪。

（2）数据中断处理

在处理连续数据的时候，有时候会遇到睫毛或眼睑部分遮蔽了瞳孔的情况，或由于眼睛本身的固有抖动，以及眨眼等因素，造成了算法无法提取出相应地数据，即所谓的数据中断，进而造成视线在跟踪视场上目标注视存在一定困难，无法适应现场快速变化的情况。为此，本文利用前几帧获得的数据来平滑预测当前帧中的数据。假设原函数f(t)在N个顺序时刻的测量值为 f(ti)(i=1,2,3,…,N)，且 f(t)可以用如下公式进行最佳线性逼近：

 

背景建模：近处建立几个星球模型，以模拟太阳系的九大行星，在各自的椭圆轨道上运行。星球模型的表面贴图与真实太空中的星球一致，给操作者以处于真实太空的感受。机械臂放置于星球表面上，用一带星球表面纹理贴图的大平面来表征，为操作者提供真实沉浸的感受。

 

1.3.3 三萜类 枇杷中的三萜类化合物主要是乌苏酸、齐墩果酸及其衍生物[25，26]，以游离酸及其皂苷的形式存在于枇杷的花叶中[27，28]，枇杷花中乌苏酸和齐墩果酸的含量分别为2.68 mg/g DW和0.51 mg/g DW[15]，枇杷叶中乌苏酸和齐墩果酸的含量分别为5.60 mg/gDW和1.40 mg/g DW[29]。Taniguchi[30]利用枇杷叶片的愈伤组织制备三萜酸，三萜酸的含量达到50 mg/g DW，其中具有降血糖作用的委陵菜酸和具有抗肿瘤活性的2α,19α-二羟基-3-O-乌苏-12-烯-28酸的含量显著高于普通枇杷叶。

2）脑电信号信息识别算法

本文提出了一种基于脑眼融合的智能控制与操纵方法，该方法主要针对在作业过程中脑电信号识别较慢等问题，将眼动跟踪和脑电信号相融合，首先通过视点估计确定大致的相对位置关系，然后利用脑电信号分类实现更为准确的位置定位。

在眼动跟踪的基础上，本文脑电信号刺激生成的方法是稳态视觉诱发算法（SSVEP），分类识别选用的算法是线性判别式分析（LDA）。LDA在脑-机接口领域中有着十分广泛的应用，且达到了令人满意的效果，它把高维样本投影到最佳的鉴别矢量空间，投影后保证原样本在该新的子空间中有最佳可分离性。

1）以人为本：要以学生为本，亦要以教师为本。课堂活动要以学生为主体，课堂设计要发挥教师的主导作用统筹安排。教师除了讲授教材内容之外，可请学生依照单元主题开展分组讨论、成果展示、角色扮演、辩论、文字游戏等活动，也可加入Kahoot、Pinterest、课堂派等信息时代新元素，为学生多创造一些主动参与课堂的机会。

该部分主要完成角膜反射光斑中心坐标和瞳孔中心坐标位置的提取工作。首先，利用二值法提取普尔欣影像中的最亮斑点（中心点）的坐标，并通过求解公式（1）的极点作为亮度的最佳阈值。以最佳阈值为门限二值化眼图后，找到面积最大的反射光斑，然后求取其几何中心坐标(xcomea,ycomea)作为角膜反射光斑的中心位置。

对于特征为 d维的 N个样本 X=[x1,x2,…,xn]T，其中在类别ω1中有N1个样本，另外N2个样本在类别ω2中。用ω表示投影方向，则样本X经过ω投影之后可表示为：y=ωTx。 当 x为二维时，只需找到一条投影后能使特征点分离的直线即可（方向为ω）。

测试样本经过特征投影后，其决策值加和的符号决定了分类类别，也就是对应的控制输出。在本文实验中，每轮刺激都各会触发一次SSVEP信号。在线判断时，只需要将刺激套用LDA模型投影后，判断最大投影值，并对其交叉后就可以得到控制输出目标了。

（6）大粒径沥青混合料摊铺。车辆卸料时，应将车斗慢慢上升，待车厢内混合料剩余25%左右时将车都升高到最高位置一次性卸完。在大粒径沥青混合料摊铺过程中，要时刻注意摊铺质量，如果出现离析现象，应及时人工处理，且要保证摊铺温度，正常情况下温度不得低于160℃。

本文可在AR环境中，生成脑机控制所需的刺激界面。以SSVEP刺激为例，需要在增强现实环境中，建立不同频率闪烁的刺激块，对操作者形成相关的刺激。该刺激应与电子屏幕上的刺激形式保持一致，保证人接收刺激的有效性，刺激可采用菜单式的方式来呈现。

4 案例验证

在脑电信号测试方面，本文构建了离线和在线模块，采用留一法对脑电信号进行测试。在数字头盔控制过程中，得到脑眼协同控制信号的初始和抓取标定逻辑如图2所示。

  

图2 增强现实环境中的脑眼融合操作逻辑示意

机械臂6个自由度的运动状态如下表所示，通过建立视觉诱发刺激，可以建立相关的脑电识别模型，包括自由度1：底座的持续旋转；自由度2：竖直平面内的持续转动；自由度3：竖直平面内的步进式（步进角度较大）；自由度 4：竖直平面内的步进式（步进角度较大）；自由度5：机械手底座步进式（步进角度较小）转动；自由度 6：往复进行抓取动作。

  

图3 脑眼融合刺激生成试验

在协同控制过程中，本文将离线训练的停止标准设为：连续两个试次的十轮平均正确率都在0.85以上。同时，为了保证离线模块既能准确建模，又不至于花费太长时间，将试次数控制在5～20之间，经过离线动态停止的优化后，经过充分训练的被试者脑眼协同控制正确率可达到95%左右，脑电信号识别正确率达到90%以上。

我点点头，准备离开。他却拉住了我。我很奇怪，为什么，他的好日子里怎么能有我这种人。我想起那昏暗脏兮兮的会场，纸醉金迷没阳光。

【参考文献】

［1］李琳.基于稳态视觉诱发电位的脑机接口系统设计及相关算法的研究[D].浙江理工大学,2017.

［2］程时伟，孙志强.用于移动设备人机交互的眼动跟踪方法[J].计算机辅助设计与图形学学报.2014(08)∶1354-1361.

［3］余威.基于脑机接口技术的智能小车控制系统的研究与设计[D].武汉理工大学,2015.