3D场景重建一直是计算机视觉和计算机图形学的一个重要研究领域,近年来,已被研究人员广泛应用于各种研究方向．文献[1]中将其应用于逆向工程和无损检测领域；文献[2-3]中展示了三维重建的城市模型,为城市规划者提供了大量重要的信息．3D场景重建也受到了越来越多机器人自主导航研究者的关注．其中,一些系统使用光学相机扫描对象或场景,另一些使用激光测距仪[4-5]．文献[6]中提出的建模系统使用了三维激光测距仪、摄像机、全球定位系统和惯性测量单元等．虽然光学相机很便宜,可以获取大量信息,但在无纹理环境中,很难提取深度信息;而激光测距仪可以产生精确和密集的深度信息,但它们很昂贵、笨重,通常不适用于实时应用场景．近年来,为了满足轻便小巧建模系统的要求,微软发布了Kinect传感器,其可以在30 Hz的频率下获得彩色图和深度图,尽管其精度远低于激光测距仪,但能够应用于常见的应用场景．而一些潜在的应用还需要建模系统能够应用于移动机器人或户外大场景．

在使用Kinect进行三维建模时,最重要的问题是在传感器移动时,如何对准不同的数据帧,常用的一种数据帧对准算法是迭代最近点(iterative closest point, ICP)方法,这种算法可以产生精确的三维模型,但大多比较费时．近年来，文献[7]中提出了命名为KinectFusion的扫描和建模系统,该系统可在不同的光照条件下重建出复杂室内环境的稠密3D模型．然而,在采用基于ICP的对准算法时,需要在连续两帧之间刚性完成初始评估．在使用Kinect作为唯一的传感装置时,帧之间的相对运动应足够小;但如果算法花费太多时间时,帧之间的运动将比较大,可能会影响到ICP对准过程．如果发生这种情况,建模系统精度将会下降．为了提高运算速度,需要减少要对齐的点的数量,但也不能随意选择几个点,因为在三维空间中,两个平面之间包含旋转、平移的刚性变换矩阵是不确定的．如果在一帧中选择的点位于同一平面上,上述的ICP过程将会出错．

文中提出一种使用角点特征获取感兴趣区域优化KinectFusion的3D建模方法,该方法使用单一Kinect传感器完成快速3D建模．首先对Kinect拍摄的每一帧彩色图像提取简单的角点特征,然后使用螺旋搜索算法查找包含足够角点特征的矩形区域来确保所选择的点不属于同一个平面．最后,将该区域点使用ICP算法对准连续帧,同时对建模结果进行可穿越区域分析．

糖尿病是临床常见的内分泌疾病，也是引起心血管疾病的独立危险因素之一。长期高血糖状态下可导致靶器官损伤，引起糖尿病慢性并发症，进而影响患者的生存质量和生命安全。心脏是糖尿病常见的受累器官之一，心脏病变是糖尿病患者的主要死亡原因之一［1］。冠心病、心脏自主神经病变、糖尿病心肌病是糖尿病患者心脏并发症的三种表现形式，前两者临床比较常见，但糖尿病心肌病却未引起足够重视［2］。

1 KinectFusion算法

1.1 Kinect传感器

微软于2010年11月发布了Xbox 360视频游戏机的Kinect传感器设备，该传感器装置被用于控制Xbox游戏机,并通过手势、动作和语音传达命令,从而代替传统的游戏控制器．由于用户广泛将其应用于各个领域,微软于2012年2月发布了其软件开发工具包,并在2014年夏,发布了新版SDK和二代Kinect传感器．Kinect包含1个CMOS传感器,1个深度传感器和1个激光投影仪,其提供的检测角度为水平57°、垂直43°,检测距离在0.4～8 m[8-9],其可以在30 Hz的频率下,获得彩色图和深度图,尽管其精度远低于激光测距仪,但足够应用于常见的应用场景中．

——世界卫生组织称，抗生素危机将比20世纪80年代的艾滋病疫情更严重、紧迫。据统计，中国人均使用抗生素剂量，是美国人均量的10多倍

1.2 KinectFusion概述

KinectFusion使用Kinect进行实时3D场景扫描和模型创建，通过整合一段时间内从多个角度收集的深度数据重构一个致密的光滑表面．图1为KinectFusion算法流程,包括4个步骤:① 表面测量，将深度相机得到的深度图像转换为点云,并估量各点深度；② 相机姿态估计，使用ICP算法估算点云和当前的重建场景表面之间的刚性变换,从而获得深度相机的姿势;③ 重建更新，通过更新符号距离函数合并上述深度图到场景的隐式曲面;④ 表面预测，从深度相机当前视图下的符号距离函数提取场景表面信息,并估计场景表面结构．

  

图1 KinectFusion算法流程Fig.1 Flowchart of KinectFusion algorithm

将传感器得到的深度数据映射到3D场景重构容积中,定期将其添加到存储在GPU上的体素网格上，并不断更新,同时场景本身被分成许多称为体素的小立方体,每个体素尺寸取决于系统的分辨率和捕捉范围．表面上的每一点被编码成相应的体素,并作为标签距离,定义为表面周围的预定区域,同时将系统捕获的新值组合成使用加权的3D模型．当浮动减小时,使用点面迭代最近点算法预测深度摄像头的全局位姿,实现当前的原始深度图和积累的模型的对准．

2 优化KinectFusion算法

2.1 算法设计

文中,参照并修改了文献[12]中的方法．在移动的第一时间,前一帧中的所有方格都被用来寻找起始方格．然后标注这些方格为可穿越或非穿越区域．与此同时,文中使用标记“+”记录前一帧和当前帧的边界区域,最后在每一次移动时,从标记的方格遍历整张图．使用这种方式,起始方格仅被搜索一次,计算效率提高．同时,无法被发现起始方格和可能错过区域等问题都被解决．

方法概括如下：首先在2.1 m处,设置Kinect传感器的参照点,最初,立方体或截断符号距离函数(truncated signed distance function, TSDF)容积的中心与参照点重合,在Kinect移动过程中,计算立方体中心与参照点之间的距离;如果距离大于设定阈值,则偏移立方体,使其中心与参照点再次重合,然后对当前被移出的多维数据点集进行区域分析．

该算法(图2)主要分为以下5个步骤:

(1) 选取感兴趣区域．首先对Kinect捕获的每一帧彩色数据Ck提取角点特征,然后使用螺旋搜索算法查找包含足够角点特征的区域,其被认为是ROI．

(2) ROI内的计算与测量．对Kinect捕获的每一帧深度数据Dk,使用ROI中的元素计算3层顶点贴图金字塔Vk和初始贴图金字塔Nk．

(3) Kinect的姿态估计．结合步骤(2)计算结果和步骤(5)中得到的预估值,使用多尺度ICP算法,估计Kinect传感器的姿态Tk．

2016年11月，国家发改委发布《电力发展“十三五”规划（2016-2020年）》，提出“十三五”期间气电装机增加5000万千瓦，达到1.1亿千瓦以上，占比超过5%；取消和推迟煤电建设项目1.5亿千瓦以上，规模控制在11亿千瓦以内，占比降至约55%。2017年6月，国家发改委发布《加快推进天然气利用的意见》，明确将天然气培育成为我国现代清洁能源体系的主体能源之一，到2020年天然气占比力争达到10%左右。纵观我国近期出台的能源规划和环保政策，在提及天然气发电时均要求“有序发展”“适度发展”。

(4) 更新TSDF和表面特征．使用新的测量结果更新观察到场景的TSDF和表面特征,同时检测参照点和立方体中心之间的距离是否大于设定阈值．如果大于阈值,转移立方体到新的位置,使其中心与Kinect的参照点重合．

扦插操作时科学的选择时间，能够提高红豆杉的成活率。因此，在紧张扦插时需要对土壤温度进行测量，一般当深土温度在10℃以上、大棚温度保持在15℃以上时，能够促进扦插切口的细胞进行分裂，从而增加插穗根系的成活。所以必须要根据实际土壤温度进行扦插时间的选择。

(5) 计算虚拟测量结果．为了提高精度,将当前深度数据对准全局融合模型而不是前一数据帧;因此,在传感器坐标系下全局模型的虚拟顶点Vk-1和初始图像都应当重新计算,文中使用光线投射方法来计算虚拟测量结果．

  

图2 优化KinectFusion算法流程Fig.2 Optimization of KinectFusion algorithm

步骤(3～5)的方法与KinectFusion方法相似[11]，文中详细讨论其他3个步骤[11]：

两人紧紧地缠在一起。良久，一杭抱起雪萤，钻进窝棚。窝棚里，拥挤地放着一张简易单人床。雪萤手里拿着那个手提包，躺在床上后，用脚把提包踢到了床的另一头。

2.2 选取感兴趣区域

(2) 通过一系列对比试验,得出文中算法同KincetFusion算法的精度几乎相等,但处理时间仅为其一半左右．但是在面对那些几乎没有任何边角的场景时,文中算法也很难正确地建立场景模型.这也是基于ICP算法的共性缺点,因为3D点之间的对应关系很难确定．

受传统观念束缚，多数人不愿意从事家庭服务工作。在农村，特别是偏远山区，人们普遍认为进城当保姆，是伺候人，很丢脸。由此造成家政服务员资源严重短缺，家政公司和雇主都明显感到优秀服务员实在难求。

 

(1)

(2) 约束最大值．定义一个局部最大特征统计图其中每一个元素m的对应的值计算如式(2),其中n为Ek中的元素，S3×3(m)为m附近的3个元素，max为求最大值函数：

即把不在园林空间中的元素包含到园林空间中来，使得园林意境更添一份深意。由于园林建造在城市中，园林的场地是很有局限性的，要通过渗透和延伸园林空间来丰富园林空间和意境。借景的方法主要有近借、远借、互借等［2］。

 

(2)

(3) 过滤偏小的值．为了处理棱角不明显的角落,图中较小的值被过滤,即如果比规定的阈值小,则被设置为零．

(4) 遍历感兴趣区域．首先,定义两个数组,一个为查找集，记为R,另一个为非查找集，记为U,初始R为空,U为中所有非零元素．然后把U中的元素按值的大小进行排序,且最大的元素从集合U转移到集合R中,接着遍历U中其他元素,如果存在比指定阈值小的元素,则将其删除,同时对应的值被设置为0;否则,该元素从集合U转移到集合R,最后，R中包含所有被检测到的角点．

(5) 文中采用螺旋搜索算法遍历ROI.使用滑动窗口搜索包含足够角点特征的区域,最初,窗口的分辨率设置为160×120,并且初始位置为特征统计图的中心．同时对窗口中的非零元素进行计数．如果有足够的角点,该窗口被视为数据帧的ROI;否则,继续滑动窗口螺旋式搜索,直到ROI被找到．如果通过滑动窗口遍历整张图像,仍然没有找到ROI,将放大窗口,进行第2轮搜索．实验过程中,总是在第1轮搜索中发现ROI．

2.3 ROI中的计算

(1) 为了降低ICP方法的计算成本,首先提取Kinect拍摄每帧彩色图像的角点特征,然后利用螺旋形搜索方法来选择包含足够角点特征的感兴趣区域(ROI),接着使用感兴趣区域对应的像素点,对齐实时的连续数据帧．

 

(3)

式中：K为传感器红外摄像头的内参矩阵；为u的齐次向量．

2.4 穿越区域分析

在城市或公园的三维重建中,穿越区域分析可以提供给城市规划者,判断哪些地区行人可以通过．在自主机器人导航中,穿越区域和障碍物区域的分析也很重要，因此穿越区域分析作为建模结果的后处理也是3D建模技术的重要组成部分．

凭借政治权力，青齐学术逐渐向黄河以北地区辐射。《北齐书·儒林传序》:“姚文安、秦道静初亦学服氏，后更兼讲杜元凯所注。”《魏书》记二人作“魏郡姚文安、乐陵秦道静”。可知此乐陵是沧州之乐陵。上文还曾论及，河间邢峦，赵郡李瞻、李骞等人通过不同渠道习得《伪古文尚书》。凡此种种，皆为河北学者受到青齐学风浸染的例证。带有南朝色彩的青齐学术在北魏洛阳时代的流行，在一定程度上缩小了南北学术差异，为日后南北学术的融合创造了条件。

文中算法使用的参考网格代表整个空间,网格中的每个单元空间被分成大小相同的箱．空间中的三维点被映射到箱并对这些小方格进行直方图统计,然后通过搜索算法遍历整个参考网格,查找起始方格．最后,使用广度优先遍历方法标签化所有方格来区分可穿越或非可穿越区域．同时,通过调试系统参数,该算法可以被用于实时判断穿越与非穿越区域之间的区别．

需准备的材料及试剂包括玻璃纤维滤筒、滤纸、锥形瓶、容量瓶、漏斗、阳离子交换树脂、离子色谱运行相关试剂。

文中对被移出TSDF模型中的点进行穿越区域分析．首先,如果遍历面积不够大,则起始方格可能不会被发现，因此,穿越的区域将被误判为非穿越区域．例如网格a和b分别表示为前一帧的TSDF网络和当前帧的参考网格，且a和b之间没有关联,其中任何一个在遍历时都可能被漏掉．如果分析前一帧可穿越区域的所有的方格,重叠的方格将被检查两次，由此,增加计算成本．而且,在传感器移动时,重叠区域的点总是在变化．因此,直到明显移位,这些区域才会被分析．

在高性能计算机条件下,KinectFusion可以得到复杂环境的重构结果,但在有限的车载计算资源、移动机器人或手持式系统的应用中[10],使用该算法构造的3D模型效果不理想，因此有必要改善这一现状．文中先将Kinect捕获的每帧彩色图像进行角点特征提取,在ICP过程引入感兴趣区域(region of interest，ROI),然后使用螺旋搜索策略查找包含足够角点特征的ROI，接着对连续数据帧的ROI使用ICP方法进行数据对齐.此方法提高计算效率的同时,降低了对计算硬件标准的要求,以便适用于有限处理资源的应用场景中.

3 实验结果分析

3.1 实验环境

文中使用配备Intel(R) Core(TM) i7-4770 @ 3.0 GHz处理器、4GB内存的笔记本进行实验,在室内和室外场景中,使用文中方法与KinectFusion方法进行对比实验．为了验证文中方法在大规模场景重构中的效果,对本地区公园的局部3D建模结果进行可穿越区域分析．

图3为文中方法与KinectFusion均方差对比图,横轴代表ICP程序迭代次数,纵轴表示每一次迭代的均方差．根据算法的收敛速度和最终误差比较,可以验证文中方法优化的重建精度与KinectFusion相近．同时,为了测试该算法的计算效率,文中设计了具有10对准的对比试验,如图4.KinectFusion方法的平均处理时间为130 ms,而文中优化方法的平均处理时间为65 ms左右．

(1) 计算最小特征值．对k时刻捕获到的彩色图像中的每一个像素点p=(x,y)T，计算其最小特征统计图Ek;并计算其附近微分协方差矩阵D(p)，如式(1)；在计算M(p)特征值的过程中,只保留最小值,从而形成一个相对于Ck的最小特征统计图Ek．

  

图3 均方差比较Fig.3 Comparison of mean square error

  

图4 10对帧对准处理时间比较Fig.4 Comparison of processing time on 10 frame-pairs

3.2 结果分析

在使用Kinect作为唯一的传感装置时,帧之间的相对运动应足够小;但如果算法处理时间太长，帧之间的运动距离将比较大,可能会影响ICP对准过程．如果发生这种情况下,建模系统效率将会下降,文中就此问题加以改进．

图6为室外场景建模结果.该实验结果验证了文中方法在复杂环境中的重构表现．

  

图5 室内场景建模结果Fig.5 Results of indoor scene modeling

从而在一定程度上降低了时间复杂度．图5给出了使用文中方法进行室内场景建模的结果.

添加耐高温α-淀粉酶脱胚玉米挤出物经过液化糖化后制得糖化液，此糖化液经过滤得到的滤饼中含有少量的RS3，此部分淀粉未被水解的影响糖浆的收率。通过本实验，经频数选优得到较优工艺参数为：挤压原料淀粉酶添加量0.80L/t，螺杆转速140.0r/min，液化时耐高温淀粉酶添加酶量0.50L/t，液化时间20.0min，糖化时葡萄糖淀粉酶添加量1.50L/t。控制挤压-糖化系统参数，使滤饼中的RS3质量分数降低。在此条件下，滤饼中抗性淀粉含量为0.26%。

整个火山口崖面，东壁喷发纹理最为清晰，远望宛若一列金字塔状的天然屏障，近看又像一把倒置的巨大艺术扇。数万根六棱石柱拔地而起，似被一高强磁极所吸引，齐刷刷地冲向那瓶颈般地喷发口，形成辐射状的棱形条面，如万箭齐发，气势极为壮观，被人称为“人间宝地无双境，天下奇观第一山。”火山造就了古生物化石，也孕育了宝石，驰名中外的昌乐蓝宝石就是火山运动带来的重要矿产。

表1为室内小场景在优化前后建模时间对比，根据多组测试数据的对比结果，可看出文中方法明显降低了室内小场景的建模时间.

 

表1 优化前后室内小场景建模时间对比Table 1 Comparison of modeling time of indoor smallscene before and after optimization

  

模型优化前/s优化后/s盆景158办公桌2816玩偶2615人物3018

首先对每帧深度数据提取角点特征,然后使用滑动窗口螺旋式搜索方法查找包含足够角点特征的感兴趣区域,接着对连续数据帧的ROI使用迭代最近点方法进行数据对齐,从而减少帧对齐的消耗时间;同时,在ROI计算过程中,采用三层深度金字塔计算每帧深度数据,在穿越区域分析时,使用标记“+”记录前一帧和当前帧的边界区域,最后在每次移动时,从标记的方格遍历整张图．

将藜麦种子磨成粉末，过100目筛，取筛下物放入烘箱烘干备用。称取适量预处理后的藜麦粉并将其与0.20%的NaOH溶液按照1：5的比例混合，搅拌3 h后，静置18 h。将混合物于4000 r/min离心10 min，去上层黄色蛋白质沉淀和下层灰色沉淀，留中间白色淀粉反复离心、洗涤，调pH至中性，继续洗涤至上层无黄色沉淀为止。最后将产物置于 40 ℃烘箱中干燥48 h，粉碎，过100目筛后封袋保存。

  

图6 室外场景建模结果Fig.6 Results of outdoor scene modeling

4 结论

与KinectFusion方法不同,文中采用3层深度金字塔计算每帧深度数据．方法如下:将k时刻捕捉到的深度数据记为Dk,深度金字塔的第1层记为D1,k,在该图像的ROI中填充元素u=(u,v)T;第2层通过第1层降采样得到,分辨率为其一半,记为D2,k;金字塔的第3层是将第2层降采样,记为D3,k．然后在传感器坐标系中,分别从3个层次计算3层深度金字塔图,其公式:

为了提高运算速度,需要减少要对齐点的数量,但也不能随意选择几个点．如果主要使用位于同一平面上的点对齐连续的数据帧,所述ICP过程将不收敛且建模结果将不准确．文中选择ROI确保所选择的点不属于同一平面．记传感器k时刻捕获的彩色图像为Ck,检测角点特征过程如下:

(3) 后期将通过引入空间结构信息改良该算法,即通过点、线、面等结构信息与角点特征相结合的方式,来克服该问题．此外,也将探索模型新的表示方式,以减少存储空间需求．

参考文献(References)

[ 1 ] PAN Q, REITMAYR G, DRUMMOND T W. Interactive model reconstruction with user guidance[C]∥International Symposium on Mixed and Augmented Reality.[S.l.]:IEEE,2009:209-210.DOI:10.1109/ismar.2009.5336460.

[ 2 ] HONGJIAN Y, SHIQIANG Z. 3D building reconstruction from aerial CCD image and sparse laser sample data[J]. Optics and Lasers in Engineering, 2006, 44(6): 555-566. DOI:10.1016/j.optlaseng.2005.06.004.

从乡村发展阶段来看,乡村性高值区植物群落评分普遍高于乡村性低值区(图5)。可见该地区乡村城市化对植物群落的破坏明显。

[ 3 ] CHENG L, GONG J, LI M, et al. 3D building model reconstruction from multi-view aerial imagery and lidar data[J]. Photogrammetric Engineering & Remote Sensing, 2011, 77(2): 125-139. DOI:10.14358/pers.77.2.125.

[ 4 ] DIAS P, MATOS M, SANTOS V. 3D reconstruction of real world scenes using a low-cost 3D range scanner[J]. Computer-Aided Civil and Infrastructure Engineering, 2006, 21(7): 486-497. DOI:10.1111/j.1467-8667.206.00453.x.

[ 5 ] XIONG X, ADAN A, AKINCI B, et al. Automatic creation of semantically rich 3D building models from laser scanner data[J]. Automation in Construction, 2013, 31: 325-337. DOI:10.1016/j.autcon.2012.10.006.

[ 6 ] YU S J, SUKUMAR S R, KOSCHAN A F, et al. 3D reconstruction of road surfaces using an integrated multi-sensory approach[J]. Optics and Lasers in Engineering, 2007, 45(7): 808-818. DOI:10.1016/j.optlaseng.2006.12.007.

[ 7 ] NEWCOMBE R A, DAVISON A J, IZADI S, et al. Kinectfusion: real-time dense surface mapping and tracking[C]∥International Symposium on Mixed and Augmented Reality.[S.l.]：IEEE，2011：127-136.DOI:10.1109/ismar.2011.6162880.

[ 8 ] STÜHMER J, GUMHOLD S, CREMERS D. Real-time dense geometry from a handheld camera [M]. Berlin:Springer, 2010:11-20.

[ 9 ] LI H, ADAMS B, GUIBAS L J, et al. Robust single-view geometry and motion reconstruction[J]. ACM Transactions on Graphics, 2009, 28(5): 1. DOI:10.1145/1618452.1618521.

[10] MAY S, DROESCHEL D, HOLZ D, et al. Three-dimensional mapping with time-of-flight cameras[J]. J Field Robotics, 2009, 26(11): 934-965. DOI:10.1002/rob.20321.

[11] WHELAN T, KAESS M, FALLON M, et al. Kintinuous:spatially extended kinectfusion[J]. Robotics & Autonomous Systems, 2012, 69(C):3-14.

[12] YUE H, CHEN W, WU X, et al. Kinect based real time obstacle detection for legged robots in complex environments[C]∥Industrial Electronics and Applications.[S.l.]：IEEE, 2013:205-210.