0　引言

最近几年，市场对三维打印模型的需求越来越大，尤其是用三维打印模型来重现真实世界的物体.但是几乎所有的三维打印模型都是未着色的单色调物体.在工业界，有很多非常成熟的模型着色方法，比如基于化学的[1]，基于贴纸的[2]以及直接在模型上涂色的[3].但是很少有个人用户能承担这种三维打印的定价.近年来在工业界、学术界出现了很多新的纹理着色技术[4-5].但是这些方法都要求昂贵的设备、精巧的算法以及复杂的材料.

本文提出了一种纹理着色方法，该方法基于投影技术对三维打印模型投射纹理，使用简单的几何位置配准方法，系统自动计算投影仪与真实物体之间的几何位置关系.目前，在基于投影的增强现实的纹理投射应用方面有以下几种几何配准方法.

三天后，我和老婆坐上了开往省城哈尔滨的特快列车。我还想补充的是，那天又下起了大暴雪，我担心路上出事，劝老婆把票退了，择日再走，老婆却固执地说：不，只要火车不停运，就是下刀子也得走。

1)基于三维建模的几何配准方法

过程—事件的角度主要关注小区治理的动态过程，聚焦于社区或小区的治理或自治中的具体事件。这一视角主要围绕国家治理或控制、社区自治、业主维权抗争等主题展开。

微软的RoomAlive[6], IllumiRoom[7], Room2Room[8]使用Kinect和投影仪对空间做三维建模.使用投影仪对空间投射结构光编码图片，根据Kinect上的彩色摄像头得到的结构光图片，原始彩色图，以及通过Kinect深度摄像头得到的深度图，根据结构光的性质使用RANSAC算法[9]和OpenCV的标定工具[10]计算投影仪、摄像头的内参矩阵.然后使用基于KinectFusion[11]的算法计算投影仪、摄像机的外参矩阵得到整个空间的三维模型.最终得到投影仪、摄像头和真实空间的几何位置.

建设美丽中国是中华民族永续发展的客观要求，也是顺应人民群众追求美好生活的期待需要。我们党提出的包括绿色发展在内的五大发展理念，为建设美丽中国提供了正确的理论指导，描绘了社会主义生态文明新时代的美好蓝图。“美丽中国”是生态文明建设的目标要求，是实施绿色发展的归宿，也是我国社会主义现代化建设的目标之一。在2018年全国生态环境保护大会上，习近平充满信心地指出：“到本世纪中叶，绿色发展方式与生活方式全面形成，建成美丽中国。”［6］以习近平为核心的党中央旨在让中国美丽的崭新思路和具体实践，成为我们党实事求是思想路线在发展理念和发展实践上的真实展现和生动表达，也凸显了习近平绿色发展理论认识上的深化。

2)基于模版图片的几何配准方法

使用投影仪做纹理着色属于增强现实的方法.在基于视觉的增强现实应用中经常使用模版图片[12]，比如类似于二维码的模版图片做几何配准辅助.在物体所在的平面上放置模版图片，通过摄像头视频帧中的模版图片与内存中的模版图片做模版匹配算法，求取单应矩阵，得到真实空间的平面与虚拟平面的几何关系[13].根据仿射不变性原理，就可以实时重建从摄像头到当前场景模版图片的坐标变换矩阵[14].然后将投影仪外参近似为摄像头的外参[15]，最后渲染系统就可以根据变换矩阵对虚拟物体做坐标变换并渲染在正确的位置.

本文提出的方法实现简单，仅需要投影仪、摄像机即可，不涉及繁复的标定操作和三维建模算法，用户使用既有软件完成数据准备工作，比如虚拟模型的建立，投影仪的标定.用户手动选取特征点，通过结构光编码的特性，求得摄像头拍摄的图片和投影仪投影的结构光图片中像素之间的对应，系统自动处理投影仪和三维物体之间的几何配准，得到两者之间的几何关系矩阵.最后系统根据该矩阵将纹理准确渲染到真实物体上.本文的贡献在于：1) 基于投影的增强现实技术提出了一种新颖的三维模型着色方法.所需设备简单、容易实现、易于推广；动态纹理着色，相比现有的三维模型着色系统都只能着既定静态纹理，该方法可以实时改变纹理；2) 提出了一种新的几何位置配准的方法.该方法不涉及繁复的三维建模算法，不需要巨大的计算量.

1　系统概况

本文使用基于投影的增强现实方法将纹理投射到三维模型上.首先将投影仪和摄像机固定到转台上，使用Matlab工具包[16]对投影仪及摄像机做标定，得到投影仪的内参矩阵.然后用投影仪投射结构光编码图片到三维模型上，摄像机同时拍摄图片.用户在模型上选取4个二维特征点，根据结构光的关系找到结构光编码图上对应的4个二维特征点的坐标.最后从三维模型上找到其对应的三维特征点，三维特征点和结构光编码图对应的二维特征点之间求得一个射影矩阵.根据这个射影矩阵，就可以把二维纹理图片投射到三维模型上.

  

图1　流程图Fig.1　Flow chart

1.1　投影仪以及摄像机的标定

本文将投影仪看作普通摄像头的反转，即将二维图片像素到摄像机中心的向量反转.这样就可以用类似于摄像机的标定方法标定投影仪.该系统将投影仪和摄像机固定在转台两侧，将平面棋盘格模板图以不同的姿态摆放在摄像机前面，拍摄数张图片.本文使用Matlab摄像机标定[17]的扩展包——投影仪-摄像机系统标定包.最后，能得到摄像机和投影仪的内参矩阵，以及摄像机和投影仪之间的几何关系矩阵.

此外，由于人工智能创新方案被应用于医疗领域，因此，客体审查还涉及《专利法》第25条第1款第（三）项的适用，即判断请求保护的方案是否属于“疾病的诊断和治疗方法”。如果请求保护的方案不属于《专利法》第25条排除的不予保护的对象，则进一步判断其是否符合《专利法》第2条第2款所规定的技术方案。

1.2　时间域上的结构光编码

本文在时间域上对结构光做编码.在本文中，使用格雷码生成横向X和竖向Y的编码图.这样图片坐标系的X轴和Y轴就由格雷码分割，每个像素由一个横向的格雷码和一个竖向的格雷码来区分.投影仪按顺序投射编码图到物体上，同时摄像头拍摄被结构光照射的物体照片.这样根据相同的格雷码从编码图和物体照片之间找到相互对应的像素.格雷码和二进制编码类似.在二进制编码中，十进制数对应Pi的某一列，然后再转换为二进制数，同时每一个单独的二进制位都表示编码图中的某一列.其中0表示白色条纹，1表示黑色条纹.如图2所示从左到右，每幅二进制编码图片都依次二等分，最终每个像素都由唯一的一对横向条纹和竖向条纹表示.

  

图2　二进制码示意图Fig.2 Binary code diagram表1　二进制码转为格雷码算法Tab.1　The algorithm of transforming Binary Code into Gray Code

  

Bin2Gray(B,G)1 G←B2 fori←n-1downto03 G[i]←B[i+1]xorB[i]

如果投影仪的分辨率为Presx，Presy.有最多Ncols=[log2(Presx)]条竖条纹，最多Nrows=[log2(Presy)]条横条纹.本文使用分辨率为800×450的投影仪做测试，投射20张竖向和18张横向的格雷码编码图.如表1算法所示.通过二进制码转换为格雷码，虽然在表示方式上，格雷码和二进制编码根据分辨率需要的编码图片相同，但是格雷码被认为是比二进制码更实用的点编码形式.因为每一对连续模版图片之间的二进制编码的表示形式都不同，而两对相邻格雷码仅差一个二进制位.在用摄像机拍摄被投影模版图片的场景时，根据拍摄图片的同一像素的亮度在连续图片中的值，投影仪切换模版图片时，可以减少由于光照影响使该像素的二进制位的比较所造成的误差.

通常，选择黑色和白色表示二进制编码的1和0，所以需要一个光照强度阈值来区分像素的光照强度.在本文中，需要再投射一张全白图和一张全黑图.对于摄像机拍摄的被投射格雷码编码图的场景图片，假设场景图片的每个像素的强度值p(x,y)，全白图相应像素plow、全黑图相应像素phigh，需要设置一个光照强度阈值tp=(phigh-plow)/2 [18]，如果p(x,y)>tp则认为该像素落在白条也即对应0，反之为1.

2000年以来，黔东南州积极贯彻国家关于鼓励民间资本参与水土保持生态建设的相关政策及精神，引导、扶持、鼓励民间资本参与开发性治理，加速了项目区水土流失、石漠化治理速度及群众脱贫致富步伐，较好地破解了地方财力不足对水土保持生态建设制约的难题。2000年以来，黔东南州民间投资43 454.13万元，治理水土流失面积174.67km2，分别占全州水土流失治理总投资和总面积的27.58%、5.80%。

1.3　投射结构光并解码

从摄像机拍摄的场景图里，用户在模型上用鼠标选取至少4个不共线的点，记录下他们的坐标{xcam}.这4个点尽量从结构光条纹清晰的物体表面上选取.如图3所示.

对于选取的每个点，首先根据全白图和全黑图中对应像素的光照强度phigh和plow计算该像素点对应的光照强度阈值tp.因为摄像机也拍摄了同样数量的被投射结构光的场景图片，那么可以计算该点在不同的场景图片里对应的格雷码编码值.每一个格雷码编码值对应最细密编码图中的一个条纹.如图4所示，横向格雷码对应的条纹和竖向格雷码对应的条纹交叉部分唯一对应投影仪投射的格雷码编码图中的交叉部分.那么从摄像机拍摄的场景图里获取的4个点就找到投影仪投射编码图对应的4个点{xproj}.

  

图3 用户至少选取4个特征点Fig.3 Userselectsatleast4featuresfromtheobject图4 特征点对应关系Fig.4 Correspondenceoffeaturepoints

最后在MeshLab中从三维虚拟模型上选取4个相同位置的三维点{X3D}.根据二维点和三维点的关系式[14].

xproj=K[R|t]X3D

(1)

其中，K表示实现标定的投影仪的内参矩阵.[R|t]为投影仪坐标系和世界坐标系的射影转换关系.

财政部近期发布消息表示，为进一步提高地方预算完整性，加快支出进度，帮助地方提前谋划和打赢脱贫攻坚战，中央财政近期提前下达28个省（自治区、直辖市）2019年中央财政专项扶贫资金预算909.78亿元，约占2018年中央财政专项扶贫资金1060.95亿元的86%。在此次提前下达的909.78亿元中，安排资金120亿元，继续重点支持西藏、四省藏区、南疆四地州和四川凉山州、云南怒江州、甘肃临夏州等深度贫困地区，并将资金分解到具体区、州。

(2)

对于{xproj}和{X3D}，根据xproj=K[R|t]X3D得到如下的方程.

将外参矩阵[R|t]转换为模型视图矩阵ModelView：

(3)

本文使用Eigen线性代数库求解方程得到[R|t].

从理论上讲，只需要4对特征点就可以求出[R|t]矩阵的12个未知数.但是在用户点选特征点的位置时不免会出现误差，为了降低这些错误的影响，建议多选择几个特征点，并且基于最小二乘优化，使用非线性Levenberg-Marquardt迭代优化算法做数值优化.每次迭代的时候，在考虑内参矩阵K，和此时的[R|t]矩阵的情况下，将三维特征点{X3D}重投影到二维平面，计算重投影后的特征点和原始输入的二维特征点{xproj}之间的距离.如下面的目标函数所示.

(4)

其中x=(m1,m2,...,m12)T.

一次在大学里举办“高端培训班”，参加者都是地、市一级的领导，我去讲清史，在讲课中，有一个人突然站起来问：“碰到小人怎么办？”我当时真没有料想到有人会问这样的问题，思考了一下说：“感谢！”底下沉默了二三十秒后，全场长时间鼓掌。

在本文中非线性最小二乘迭代优化得到最佳的姿态矩阵[R|t].如下公式所示.

(1)为保持开挖后基岩的完整性和开挖面的平整度，对岩质基础、边坡、马道的所有轮廓线上的垂直、斜坡面必须采用控制爆破。

分别于正试验第1 d和第65 d以重复为单位对育肥猪进行空腹称质量，为试验初、末重，每天准确记录每重复育肥猪采食量，计算各重复育肥猪平均日采食量、平均日增重和料重比。

(5)

其中x=(m1,m2,...,m12)T.

1.4　投影纹理

对该模型做动态的投射纹理.在实验中使用的转台的转速为0.2 r/s，以5 s为时间单位获取每5 s的纹理模型，显示结果如图8所示.

dSPACE仿真系统主要包含两个方面——实现快速控制原型和硬件在回路中的仿真，是由德国dSPACE公司开发的一套研发测试工作平台。主要用于控制系统的开发。

(6)

[1] KOBE K A. Modern electroplating[J]. Journal of Chemical Education, 1954, 31(6):335.

(7)

图5　纹理映射原理图Fig.5　Texture mapping diagram

本系统使用Assimp库读取三维模型文件obj，读取其中的三维坐标X3d和其对应的纹理坐标(u,v).因为三维模型使用三角面片来表示，根据纹理的(u,v)坐标从纹理图片中截取三角纹理面片.如图5所示.

我说，原本想创造一个宽松舒适的环境，却给了你们一个完全不该有的错觉。我们的放任、疏忽和不作为，没让你们锻炼出良好的核心竞争力，这很不利于你们的将来。真正的工作不该是这样子的，我们真的很抱歉。

根据二维点和三维点之间的几何关系矩阵，可以把三维模型的纹理投影到二维平面上，每一个纹理坐标(u,v)对应一个三维点每一个三维点投影到平面上对应一个二维点根据三角形光栅化算法以及扫描线算法[19]，将纹理坐标(u,v)对应的像素画到处.在实现过程中，还需要注意不能显示所有的三维纹理.即本文只使用一个投影仪做显示，无法将模型背面的纹理显示出来.所以在OpenGL渲染引擎中，开启背面剔除选项glEnable(GL_CULL_FACE).即基于z-buffer算法[20]在为物体着色时，执行隐藏面消除，背向投影仪的部分纹理就不会显示，另外这样做还可以加快显示效率.

在本文中还实现了动态显示纹理.系统根据设定好的转台的转速Nrad/s，设定时间变量t得到随时间变化的旋转矩阵.假设，旋转轴为模型的中轴，本文中基于Y轴，即旋转轴为(0,1,0).随时间变换的旋转角为θ=t×N，则旋转矩阵表示为：

(8)

将原来的模型视图矩阵ModelView×Rrotation得到随时间变换的模型视图矩阵.

2　实验结果

本文的实验平台为分辨率为1 600×1 200的摄像头，800×450的投影仪，转速为0.2 r/s的转台.本文的计算平台为PC(Intel Xeon 3.00 GHz CPU，12 G内存)、Windows 7 操作系统，Visual Studio 2013开发环境.为了更好的实践基于结构光的本系统，需要在适当黑暗的场景下测试.

如图6所示，本文使用上述方法对模型投射相应的纹理.

[8] PEJSA T, KANTOR J, BENKO H, et al. Room2Room: enabling life-size telepresence in a projected augmented reality environment[C]// CSCW,San Francisco:2016:1716-1725.

  

aba:原3D纹理模型;b:真实投影纹理的模型图6 对模型投射纹理与原3D模型做对比Fig.6 Theprojectiontexturedreal3dmodelcomparedwiththeoriginaltexturedmodelaba:三维打印模型;b:对模型投射不同的纹理图7 不同的纹理投影到同一个三维打印模型的真实效果Fig.7 Theraw3dmodelcompareswiththreeprojectiontexturedmodels

从显示结果看出，投影仪可以将纹理准确投射到模型上，并且实际图片和虚拟纹理模型相比差别不大.

本系统基于OpenGL渲染引擎来渲染纹理，将上述计算得到的K和[R|t]转换为投影矩阵和模型视图矩阵.假设投影仪的分辨率为width×height，投影仪的焦距fx,fy.图像主点cx,cy.透视投影的近平面near,远平面far.其中投影仪内参矩阵K转换为投影矩阵Projection.

  

a:0 s时的模型, b:5 s时的模型, c:10 s时的模型, d:15 s时的模型图8　不同时刻的纹理模型Fig.8　Different textured model at different timestamp

本文一直使用花瓶作为我们的测试样例，但是为了验证本文方法的普适性，分别设计了3种模型.如图9所示.

由图9的投影结果可以看出3种模型的纹理投影都有一定的偏差.如图9(a)中的花瓶，对于这种对称、表面几乎没有相互遮挡的物体效果最好，但是在方框标记的位置处，即瓶子底部没有被投影纹理.图9(b)中结构与花瓶类似的小树，表面有部分被遮挡，如方框标记的位置，在这种有遮挡的情况下，被遮挡的纹理看不到投影的纹理.图9(c)中的兔子表面最为复杂，并且打印出的三维模型也存在一定的误差，如方框标记位置处，投影的误差比较大，结果勉强可以，以后这个问题还要继续改进.虽然存在误差，但是本文的算法在没有考虑物体表面参数化的情况下，依然做出了效果很好的纹理映射.

脚内侧定点射门数据上，实验后实验班与对照班在脚内侧定点射门数据上均有提高，不论是合作学习还是传统教学都可以提高射门技术，但样本T检验后发现，其p值＜0.05，说明实验班采用合作学习法所取得的成绩要好于对照班。

  

a:花瓶模型纹理； b:树模型纹理； c:兔子模型纹理.图9　不同模型的原始纹理和投影纹理对比Fig.9　Different original textured and projected texture models comparison

3　总结与展望

本文实现的纹理投射系统满足真实感、易用性.核心算法基于投影的增强现实系统，利用结构光编码计算投影仪和摄像机之间图片的像素关系.再利用二维点和对应三维点之间的射影关系基于OpenGL把模型纹理准确投射到模型上.另外，结合转台实现动态投射纹理.本文所实现的模型着色系统相比最新的着色系统更易用、更廉价.但是，基于结构光的系统受环境光的影响大，不适于在明亮的环境下使用本系统.在数据准备过程中，用户需要手动确定三维虚拟模型的特征点和摄像机拍摄被投影场景的二维特征点.本文使用相移法辅助格雷码编码的结构光方法对场景进行编码，这种方法已经广泛应用于基于结构光的三维建模技术中.本文在对场景编码后再对场景做三维建模，将得到的三维点云与用户自定义的三维模型做点云配准、注册得到点云的三维特征点.然后将三维特征点重投影到摄像机拍摄的图片中，再基于结构光的编码，得到投影仪投射的结构光模版图片中对应二维特征点.这样的过程可以完全自动化提取三维、二维特征点.使用该方法可以显著降低用户的学习成本，也降低了几何配准方法的误差，但是提高了本系统的计算成本，后期将使用GPU加速来提高计算效率.另外，本文只实现了单投影的纹理着色，将来可以采用多投影把所有纹理都投射到模型上，并使用光照补偿算法[21]，去除因纹理拼接造成的边界异常.

参考文献:

[2] VON D S. Making marks discovering the ceramic surface [J]. Pottery Making Illustrated, 2009, 2(18):13-15.

有研究表明采用针对性护理能够有效的提高患儿的治疗效果,改善其临床症状。其通过对患儿进行心理护理,缓解不良情绪的发生;消毒隔离护理,为患儿提供一个良好的治疗环境;病情观察,时刻关注患儿病情的发展,预防不良情况的发生;饮食指导,指导患儿健康饮食,加快患儿的恢复速度;臀部护理,指导其家属做好相应的清洁工作,避免并发症的发生。本研究分析护理干预对小儿秋季腹泻治疗及预后的影响,结果显示,观察组治疗总有效率明显高于对照组,且止吐时间、止泻时间以及退热时间均短于对照组(P<0.05)。

[4] ZHANG Y, YIN C, ZHENG C, et al. Computational hydrographic printing[J]. Acm Transactions on Graphics, 2015, 34(4):1-11.

[5] ZHANG Y, TONG Y, ZHOU K. Coloring 3D printed surfaces by thermoforming[J]. IEEE Transactions on Visualization & Computer Graphics, 2017, 23(8):1924.

[6] JONES B, SODHI R, MURDOCK M, et al. RoomAlive: magical experiences enabled by scalable, adaptive projector-camera units[C]// UIST,Hawaii: 2014:637-644.

[7] JONES B R, BENKO H, OFEK E, et al. IllumiRoom:peripheral projected illusions for interactive experiences[C]// CHI '13 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, Paris: 2013:869-878.

如图7所示，对同一个模型投射不同的纹理.

[3] FAIRCHILD C A. The art of enameling: techniques, projects, inspiration[J]. Library Journal, 2005, 21(13): 299-307.

[9] FISCHLER M A BOLLES R C. Random sample consensus [J]. Communications of the ACM ,1981, 24( 6): 381-395.

[10] OPENCV D T. OpenCV camera calibration[EB/OL].(2014-12-01)[2016-12-19] .http://docs.opencv.org/2.4.10/modules/calib3d/doc.

[11] NEWCOMBE R A, IZADI S, HILLIGES O, et al. KinectFusion: real-time dense surface mapping and tracking[C]// IEEE International Symposium on Mixed and Augmented Reality. IEEE Computer Society, Washington D C:2011:127-136.

[12] 朱淼良, 姚远, 蒋云良. 增强现实综述[J]. 中国图象图形学报, 2004, 9(7):767-774.

[13] HARTLEY R, ZISSERMAN A. Multiple view geometry in computer vision[M]. Cambridge: Cambridge University Press,2003.

[14] BAGGIO D L, SHERVIN E, DAVID M E, et al. Mastering OpenCV with practical computer vision projects [M]. Birmingham:Packt Publishing Ltd, 2012: 108-113.

[15] BIMBER O, IWAI D, WETZSTEIN G, et al. The visual computing of projector-camera systems[J]. Computer Graphics Forum, 2008, 27(8):2219-2245.

[16] FALCAO G, HURTOS N, MASSICH J, et al. Plane-based calibration of a projector-camera system[EB/OL].(2008-11-01)[2016-12-10]. http://www.researchgate.net/publication/265230871

[17] JEAN Y B. Matlab camera calibration toolkit [EB/OL].(2015-10-14)[2016-12-19] .http://www.vision.caltech.edu/bouguetj/calib_doc/.

[18] HERAKLEOUS K, POULLIS C. 3DUNDERWORLD-SLS: An open-source structured-light scanning system for rapid geometry acquisition[OJ/OL]. Eprint Arxiv,2014:1-13. http://arxiv.org/PDF/1406.6595v1.pdf

[19] FINNEY K C. 3D Game programming all in one[M]. Boston: Premier Press, 2004: 275-276.

[20] LENGYEL E. Mathematics for 3D game programming and computer graphics[M]. Mockland MA:Charles River Media, Inc, 2002: 247-248.

[21] MINE M R, BAAR J V, GRUNDHOFER A, et al. Projection-based augmented reality in disney theme parks[J]. Computer, 2012, 45(7):32-40.