更全的杂志信息网

面向手势交互的古建场景快速搭建方法

更新时间:2016-07-05

构建三维建筑场景是虚拟现实(VR)行业的一项基础工作,高质量的三维建筑场景模型在数字娱乐、动漫设计、文化遗产保护等应用领域起到基础和核心的作用. 现有的三维场景快速构建方法大都面向传统平面交互方式,不能满足日益增多的自然交互方式需求. 尤其是在沉浸式VR环境,以及大屏幕、远距离演示应用场景中,传统鼠标键盘等交互方法无法提供自然直接的用户体验. 针对这一问题,本文提出一种基于Leap Motion体感控制器的三维场景搭建方法,可实现VR环境下三维古建场景的快速搭建.

1 相关工作

三维场景快速重建方法一直是计算机图形学领域的研究热点. 尤其是随着互联网上三维模型数量的积累,利用模型复用思路进行快速建模的方法逐步得到推广. 数据驱动方法的出现,让机器学习算法与图形学问题有了新的结合点[1]. Kalogerakis等[2]引入概率图模型实现模型的自动重组,并扩展生成大规模三维模型库. Fisher等[3]采用贝叶斯网络和高斯混合模型,实现了室内场景的自动生成,以少量同类型场景作为样本,训练场景布局概率模型,自动实现室内模型的组合布局. Xu等[4]提出的Sketch2Scene方法实现了基于草图的室内家居场景快速构建,通过草图交互方式,自动检索对应模型,并计算出模型在场景中所处位置,最终实现场景的快速搭建. 本文参考以上文献中数据驱动的三维场景模型合成方法,采用概率图模型实现古建筑部件之间的关系挖掘和推理,实现模型推荐.

另一方面,为了有效提升用户体验,更好的人机交互模式也是目前研究关注的热点. 传统的二维交互方式在一定程度上使用户产生对于输入设备的依赖,并且不能满足沉浸式、远距离交互. 而基于自然人机交互方式解除了对于输入设备的依赖,用户可以直接通过在三维空间描述物体来和机器进行信息交流,与人机交互的最终目标更加接近,为沉浸式交互、远距离交互提供了有效途径. Leap Motion是目前最流行的体感设备之一,在很多领域都得到了应用,并且获得了良好的体验效果[5]. 除了可以获得精确的手部模型跟踪,Leap Motion还提供与虚拟现实显示设备(oculus rift)的硬件接口,方便进行VR环境下沉浸式交互应用的开发. 在近几年的工作中,卢浩然等[6]利用Leap Motion研究实现了一种基于手势控制的文物碎片交互匹配拼接方法,实现了自然交互方式下的破碎文物虚拟修复. 徐崇斌等[7]提出了一种基于Leap Motion的用户界面,用于在大屏幕、远距离空间进行体数据的交互操作. 胡弘等[8]提出了利用Leap Motion进行手姿态关键点参数估计方法,实时计算手部关键点的位置,从而驱动虚拟手运动,为基于手势的虚拟交互应用奠定了基础.

结合以上两方面的工作,本文提出一种面向手势交互的场景快速建模方法. 首先,充分利用Leap Motion提供的三维空间信息,交互控制模型几何参数;其次,为了实现快速中国古建筑场景生成,本文引入概率图模型构造描述建筑部件关系的贝叶斯网络,通过概率推理向用户推荐建筑部件;采用自然交互方式对推荐模型进行选择、编辑、拼合,最终实现古建筑场景的快速搭建.

Zongyang county of Anhui province LI Ya-xing ZHENG Li-bo WANG Tao(62)

2 Leap Motion手势交互

2.1 交互模式

Leap Motion是一款基于双目视觉的交互设备,能够实时检测并跟踪手掌、手指的位置、方向和速度等几何参数信息. 相较于其他体感设备(如Kinect),该设备专为手部识别而设计,因此对手势的捕获有着更高的准确度(平均可达0.7 mm)和灵敏度[9].

水利部部长陈雷出席会议并讲话,他强调,要紧密团结在以习近平同志为总书记的党中央周围,全面贯彻落实中央一系列重大决策部署和李克强总理、汪洋副总理重要批示精神,扎实做好水利防灾减灾、改革发展、建设管理各项工作,努力开创中国特色水利现代化新局面。

Leap Motion的基本工作原理是通过双红外LED摄像头从不同角度获取手部深度信息,利用视差分析手势的变化,重建出手掌在三维空间的运动信息. 其检测范围覆盖传感器上方25~600 mm之间的倒4棱锥体空间,可以检测并跟踪手部和手指状的工具,实时获取其姿态、位置和动作,以帧(Frame)为单位发送这些信息. Frame表示每一帧中探测到的一系列手以及手指的数据,包含{hands, fingers, pointables, tools}等属性. 这些物体会分别获得唯一标识(ID),这些ID在手或工具保持在监测范围内时不会改变. 根据这些ID,可以调用Frame::finger()等函数来获得手指活动的参数信息.

2.2 手势参数与定义

为测试部件推荐模型的有效性,实验中将使用推荐模型的建模时间与按照部件类别随机推荐模型的建模时间进行对比. 如图5所示的实验结果证明,使用本文提出方法可以很快锁定建筑部件的合理搭配,从而避免在不同部件中进行挑选、调试,大大节省建模时间,提高三维古建场景建模效率.

式中P(θ|G)为先验分布,似然度包含所有隐变量的值,因此求解过程是NP问题,采用经典的K2算法[13]近似求解. K2算法使用后验概率作为评分函数,从包含所有节点的不完全有向图出发,输入随机变量节点序列及最大父节点数,计算出完整的条件关系网. 在图1中概率图模型基础上,基于本文数据集利用K2算法添加隐藏边与各节点参数,得到如图2所示的完整贝叶斯网.

表1 使用到的Leap Motion参数 Tab.1 Parameters used in Leap Motion

参数名称参数内容pointables指向物stabilizedTipPosition指向物的稳定位置normalizePoint位置归一化gesture.type手势类型gesture.direction手势方向

表2 手指数量对应的具体操作 Tab.2 Finger number in the corresponding operation

手指数量菜单操作模型操作=0无动作无动作,状态切换=1选择模型模型定位=2手势跟踪,不选择模型放缩≥3手势跟踪,不选择模型旋转

针对手势控制,根据Leap Motion手势接口采用滑动(swipe)、点击(keyTap)和画圈(circle)手势,分别对应菜单切换、模型选择和模型旋转展示功能. 滑动是一个手指或手掌以一定速率在水平或垂直方向挥动一段距离所触发的动作,点击是手指快速向下的短距离移动,画圈是一个手掌以一定的速率在空间中旋转一定的角度所触发的动作. 利用手势的方向参数,定义水平滑动对应模型推荐菜单隐藏、出现;垂直滑动对应模型推荐菜单的浏览. 点击对应模型选择. 在模型展示状态,手掌张开时的画圈手势对应三维模型的旋转,便于用户从各角度观察模型.

3 古建概率图构建

本文提出了一种面向手势交互的古建筑场景快速搭建方法. 利用Leap Motion精度高、刷新速度快的特点,获取用户手势的实时操作信息,实现三维古建部件模型的选择与定位. 提出一种基于概率图模型的推荐方法,实现了对于给定部件的合理搭配推荐,从而实现快速的场景建模. 实验结果证明了本文方法的有效性,在未来工作中,将会针对更多的测试数据集对其进行验证.

采用(SPSS21.0)专用软件对本组护理实验涉及到的数据信息进行分析,检验水准a=0.05,计数资料用χ2检验,用百分比表示,组间差异显著,有统计学意义(P<0.05)。

水利工程建设可以在一定程度上解决我国的防洪环境等方面的问题,这将会直接影响我国的经济发展和经济水平。因此,水利工程建设如果出现了问题将会造成我国巨大的损失。在水利工程建设过程中,由于这个工程比较大,非常容易出现安全质量问题。所以,一定要重视其质量问题,加强对安全问题的监督,培养专业的技术、管理人才,构建有效的水利工程质量与安全监督管理体系,为水利工程建设的发展打下坚实的基础,促进我国经济的发展。

3.1 概率图模型

按照垂直方向的位置分布,中国古建筑的构造结构分为屋顶、支撑、台基三大部分. 基于此,本文提出的概率图模型可组织为层次结构. 具体来讲,对于每一个建筑模型,可以用一个层次贝叶斯网来进行描述(如图1). 其中每一个叶节点代表对相应建筑部件的几何特征描述,非叶子节点表征了建筑部件之间的内在关系. 每一条有向边代表两个节点之间的条件依赖关系.

图1 概率图模型 Fig.1 The probabilistic model

贝叶斯网结合了概率表达和图论的描述方式. 为简化表达,采用盘式记法(plate notation)表达重复的多个节点,即图1中绿色矩形框内代表重复出现Ai次的SN节点. 每一个建筑对应该模型描述的联合概率分布P(X),其中X包含如下变量:

不等司机想法把车靠边,雪萤突然拉开车门跳下去,从几排等红灯的汽车之间挤出去,跳上那辆摩托车,在拥挤的车流间飞鱼一样穿行。

根节点R={Rl|Rl+},代表某一类具体的建筑样式,其中l等于模型库中所有建筑类型的个数.

子区域M={Mi},其中Mi∈{0,1},表示该节点变量取值. i∈{0,1,2}分别对应上部(top)、中部(middle)、下部(bottom)三个子区域.

部件类型S={Sai},其中Sai代表描述某一建筑部件所属的形状聚类序号,由几何特征向量(见3.2节),ai={Ai|Ai+},i表示该部件所属的子区域编号,即每个子区域会出现的所有部件特征向量的集合.

部件个数N={Nai|Nai+},其中Nai对应于特征向量Sai所描述的部件个数. 实际模型表达中,部件大部分情况下仅出现一次,因此将N值限定为{1,2,3+},其中3+表示该部件出现三次或以上.

图1中蓝色叶子节点代表证据变量,即可从训练数据集中观测到变量值. 这些节点对应于建筑部件的几何属性和语义信息描述. 白色节点表示隐变量,其变量值需要通过学习过程来确定(见3.3节). 这些隐变量的存在决定了各建筑部件之间的内在联系. 所有随机变量X={R,M,S,N}的联合概率分布P(X)可因式分解为条件概率分布的乘积

当女人追求知识时,这个国家是进步的;当女人崇尚自由时,这个国家是文明的;当女人崇拜金钱时,这个国家是腐化的;当女人攀附权贵时,这个国家是堕落的。

P(Nai|Mi,π(Nai)),

(1)

式中π(Sai)和π(Nai)为除Mi之外,该叶子节点的其他父节点.

3.2 数据集和特征描述

将分割标记好的中国古建筑部件库作为训练数据集. 现有一些方法可以实现常见通用三维模型的自动分割与标注[10]. 由于古建筑结构较为复杂,采用现有方法很难得到很好的分割标记效果. 鉴于本文需要的模型数据相对较少,本文采用人工标注方式处理训练数据集. 每个部件标记相对应的语义信息,如柱子、房顶、墙、地基等. 对于所有部件的网格模型,统一采样1 024个顶点用于计算其几何特征描述[11]. 特征描述向量由两部分组成:

包围盒特征:对每个部件模型的包围盒,即包围模型的最小六面体,提取特征描述向量,分别记录z方向的最小值、最大值,xyz方向的长度,以及这三个长度之间的两两比值,得到向量

社会工作服务机构作为非营利的民办非企业单位,是社会工作职业化的重要载体,主要通过提供专业的社会工作服务来参与城市社区治理,社区社会工作者直接面对城市社区公共事务和社区居民多样化的服务需求,是创新城市社区治理的具体践行者。

[zmin zmax l1 l2 lz l2/l1 lz/l1 lz/l2],

式中:

就智能化而言,高斯(中国)为自己插上了一双帮助自己可以飞得更高的翅膀,一是公司推出的匯印e家印机管理平台,其以印刷设备为载体,从各类设备采集印刷状态实时数据,应用物联网、云计算、大数据分析等技术,为印刷企业构建全方面、多层次、全覆盖的印刷管理体系,并赋予印刷设备感知、思考及服务的能力;二是智能化的联线产品系统,其可以将印前、印刷和印后进行无缝连接。刘忠荣总工程师告诉我们,前不久,高斯(中国)就与青海日报社印刷厂就“匯印e家”智能化数据采集及控制进行了良好合作,并将把这样的样板效能推介到更多的印刷厂中。

l1=max(xmax-xmin,ymax-ymin),

l2=min(xmax-xmin,ymax-ymin),

lz=zmax-zmin.

PCA特征:将采样点在z方向以及xy平面进行主成分分析,zmean表示z方向的平均值,VzV1V2(V1V2)分别代表方差,得到向量

[zmean V1 V2 Vz V2/V1 Vz/V1 Vz/V2].

根据得到的15维几何特征向量,将数据集中的所有三维形状进行聚类. 这些带有语义信息的形状描述构成了图1模型中证据变量的取值集合.

情况 8 设d(v)=10,则f3(v)≤⎣」=5,且ch(v)=10-4=6。由权转移规则知10-点转给3-点,3-面权值,当10-点作为三角形的外邻点时也转给三角形权值。

3.3 模型学习

对概率图模型中的每个节点,用条件概率表(CPT)来表示条件概率分布. 通过模型学习的目标是得到贝叶斯网的结构以及CPT参数,可能出现叶子节点之间的相互依赖关系,即某节点的父节点个数大于1. 由于证据变量E由可观察的变量值组成,问题即可转换为计算概率最高的网络结构G [12]. 根据贝叶斯公式

P(G|E)=P(E|G)P(G)/P(E),

(2)

式中P(E)与结构无关,因此最大化后验概率即求解如下贝叶斯得分的最大值

lg P(G,E)=lg P(E|G)+lg P(G).

(3)

假设P(G)均匀分布,分解lg P(E|G)可得到边缘似然函数

(4)

本文涉及的操作分为两部分,一是手指的检测,另一部分是对手势的控制. 定义通过单一手指指向屏幕来进行模型选择和位置优化,两个手指实现模型放缩,多个手指弯曲实现模型旋转,如表2所示.

图2 贝叶斯网及推理结果 Fig.2 Bayesian network and reference result

4 概率推理

在图1中概率图模型的基础上,通过数据集学习得到完整描述古建部件关系的贝叶斯网. 给定某个部件,相当于确定网络中某一叶子节点的变量值. 通过概率推理(inference)可以得到与之匹配概率最高的其他部件,从而实现推荐功能. 给定证据变量E=e,推理即通过计算,回答满足某条件查询(query)的过程. 本文关注后验概率最大状态组合,记为假设(hypothesis)h. 因此推理问题转换为计算所有可能假设中,后验概率最大的h*.

(5)

图2所示为完整贝叶斯网的可视化效果,其中灰色节点为证据变量,其余节点变量值根据证据取值重新编译. 其中概率值最大的变量对应本文推荐的建筑部件参数.

由于最大后验假设问题也是NP难解的,可以采用变量消元法,利用P(H,E=e)的分解来降低计算复杂度. 本文采用一种随机抽样算法实现近似推理[14]. 通过抽样得到一组满足某一特定概率分布的样本,根据重要性对样本加权,进行统计计算. 通过似然加权增加证据变量的权重,可以快速收敛于真实分布,得到本文推理问题的求解.

5 实验结果与讨论

[1] Xu K,Kim V G,Huang Q,et al.Data-driven shape analysis and processing [J].International Conference On Computer Graphics and Interactive Techniques,2016,4(2):11-15.

图3 使用Leap Motion控制三维模型 Fig.3 Interactive editing 3D models with Leap Motion

图4 选择推荐部件搭建的古建模型 Fig.4 Synthesis result build by the recommended components

Leap Motion提供应用编程接口(API),以每秒200帧为单位返回感应到的参数数据,用户操作时感觉是平滑的. 每一帧的数据包含很多参数,本文只利用了其中的一部分,具体的参数见表1.

图5 建模时间对比 Fig.5 Comparison on modeling time

6 结 论

中国古建筑结构遵循严格的制式规定,因此不同建筑类型的建筑部件组合呈现某些一致的规律性. 然而,让用户按照繁杂的规则进行设计并不现实. 因此本文提出利用概率图模型对古建筑进行描述,使用户不需要了解古建构造规则便可得到合理的部件搭配.

参考文献:

不许烧秸秆这一所谓环保政策,就是一个正面影响很小,却损害最大多数中低收入人群的政策。按照罗尔斯第二正义原则,如果一个社会不得不改变市场的初始分配,也只能向最低收入人群倾斜。而这种禁止农村居民烧秸秆,并强制执行的政策,显然是背道而驰。

为实现基于Leap Motion手势交互的古建场景建模,本文使用Unity3D引擎进行系统开发,方便实现物理属性模拟并与VR显示设备进行连接. 通过Leap开发包中提供的API获取手势运动的实时追踪数据. 图3为使用Leap Motion在虚拟环境下与三维模型进行实时交互的过程. 图4是选择推荐部件搭建的三维古建模型截图. 其中手势含义为隐藏屏幕左侧推荐目录菜单.

[2] Kalogerakis E,Chaudhuri S,Koller D,et al.A probabilistic model for component-based shape synthesis[J].ACM Transactions on Graphics,2012,31(4):1-11.

2.2.4 结果比较 3种预处理方法得到的枸杞子外观和色泽无显著差异;但特性量值是否发生显著变化需要进一步实验加以验证;但减压干燥法较液氮冻干法、冻干法更省时,节能。

[3] Fisher M,Ritchie D,Savva M,et al.Example-based synthesis of 3D object arrangements[J].ACM Transactions on Graphics,2012,31(6):1.

[4] Xu K,Chen K,Fu H,et al.Sketch2Scene:sketch-based co-retrieval and co-placement of 3D models[J].ACM Transactions on Graphics,2013,32(4):96-96.

[5] Marin G,Dominio F,Zanuttigh P.Hand gesture recognition with leap motion and kinect devices[C]∥Proceedings of IEEE International Conference on Image Processing.[S.l.]:IEEE,2014:1565-1569.

田 谧(1979-),女,天津红桥区人,河北地质大学讲师,博士,研究方向:教育学、大学生思想政治教育、大学生思想道德修养与法律基础。

[6] 卢浩然,税午阳,周明全,等.基于Leap Motion的三维文物虚拟拼接方法[J].系统仿真学报,2015,27(12):3006-3011.

Lu Haoran,Shui Wuyang,Zhou Mingquan,et al.Three-dimensional virtual reassembling for broken artifact fragments based on Leap Motion[J].Journal of System Simulation,2015,27(12):3006-3011.(in Chinese)

[7] 徐崇斌,周明全,沈俊辰,等.一种基于Leap Motion的直观体交互技术[J].电子与信息学报,2015(2):353-359.

Xu Chongbin,Zhou Mingquan,Shen Junchen,et al.A Leap Motion based intuitive volume interaction technology[J].Journal of Electronics & Information Technology,2015(2):353-359.(in Chinese)

[8] 胡弘,晁建刚,杨进,等.Leap Motion关键点模型手姿态估计方法[J].计算机辅助设计与图形学学报,2015(7):1211-1216.

Hu Hong,Chao Jiangang,Yang Jin,et al.Key point model for hand pose estimation based on Leap Motion[J].Journal of Computer-Aided Design & Computer Graphics,2015(7):1211-1216.(in Chinese)

对于公路施工中,需要采用不同的机械设备,若采用相同功能的机械设备,应该考虑不同的品牌,可以采用招投标的方案进行采购,对机械设备的性能和价格进行对比分析,最后确定适合该项目的最优方案。

[9] Weichert F,Bachmann D.Analysis of accuracy and robustness of the leap motion controller[J].Sensors,2013,13(5):6380-6393.

[10] Kalogerakis E,Hertzmann A,Singh K.Learning 3D mesh segmentation and labeling[J].ACM Transactions on Graphics,2010,29(4):157-166.

[11] Liu T,Chaudhuri S,Kim V G,et al.Creating consistent scene graphs using a probabilistic grammar[J].ACM Transactions on Graphics,2014,33(6):1-12.

[12] Koller D,Friedman N.Probabilisticgraphical models:principles and techniques[D].MIT:the MIT Press,2015.

[13] Cooper G F,Herskovits E.A Bayesian method for the induction of probabilistic networks from data[J].Machine Learning,1992,9(4):309-347.

[14] Fung R,Chang K C.Weighing andintegrating evidence for stochastic simulation in Bayesian networks[J].Machine Intelligence & Pattern Recognition,2013,10:209-219.

任镤,周明全,樊亚春,钱露,税午阳
《北京理工大学学报》2018年第4期文献

服务严谨可靠 7×14小时在线支持 支持宝特邀商家 不满意退款

本站非杂志社官网,上千家国家级期刊、省级期刊、北大核心、南大核心、专业的职称论文发表网站。
职称论文发表、杂志论文发表、期刊征稿、期刊投稿,论文发表指导正规机构。是您首选最可靠,最快速的期刊论文发表网站。
免责声明:本网站部分资源、信息来源于网络,完全免费共享,仅供学习和研究使用,版权和著作权归原作者所有
如有不愿意被转载的情况,请通知我们删除已转载的信息 粤ICP备2023046998号