纹理映射是将纹理图像绘制到重建模型表面，它是三维模型重建的重要组成部分，纹理的质量和分辨率对三维模型的真实性感受具有关键性影响^[1]。目前获取物体三维模型的光学方法主要有激光扫描法^[2]、结构光测量法^[3]和双目立体视觉法^[4]等。这些方法首先以光学技术为基础进行三维点云数据的获取，点云数据通过模型重建可转化为三角网格模型^[5]，再利用纹理映射来提高模型的真实感。纹理映射的关键是得到纹理图像二维坐标与模型三维坐标的匹配关系^[6]。激光扫描法和结构光测量法，仅能得到包含三维坐标信息的点云数据，要进行纹理映射需要单独采集纹理图像^[7]。纹理图像与三维模型的对应关系一般是通过3D-2D特征匹配^{[8, 9, 10]}或标定技术^[11]得到的。

双目立体视觉法是通过二维图像恢复三维信息的方法，利用双目相机拍摄图像，通过对图像进行立体匹配结合双目系统的参数得到物体的三维点云数据；同时将双目图像（通常用左图像）作为纹理图像进行映射^[12]，得到带有纹理的三维模型。受双目图像分辨率的限制，通常情况下的纹理分辨率并不高，但对于纹理分辨率有较高要求的场合，要对高分辨纹理映射方法进行专门研究。王晓南等^[13]通过对高分辨率纹理图像和点云模型人工选取控制点实现特征匹配，求得纹理图像的外方位元素，从而将高分辨率纹理映射到点云模型。赵琳敬^[14]通过旋转轴标定的方法，标定纹理相机与双目左相机的相互关系，得出高分辨率纹理图像与点云模型的匹配关系，实现了纹理图像对双目点云模型的映射。

为了提高三维模型的纹理分辨率，本文以双目立体视觉系统为基础，增加了专门采集高分辨率纹理图像的长焦相机，通过高分辨纹理图像与双目图像的二维特征匹配，以双目图像为桥梁，利用双目图像与三维点云模型在重建过程中形成的对应关系，建立高分辨纹理图像与三维点云模型的匹配关系，从而实现了高分辨率纹理的映射。

由于高分辨率纹理图像较双目图像视场小，单幅高分辨率图像难以完成对整个物体的映射，因此，通过水平和俯仰旋转多个视角拍摄高分辨率纹理图像，利用多幅纹理图像的融合，完成多视高分辨率纹理图像对双目点云模型的映射。

高分辨率纹理三维成像系统结构如图1所示。系统由3个相机组成，其中左右相机组成双目立体视觉系统，用于重建三维点云模型；中间为纹理相机，用于拍摄物体的高分辨率纹理图像。纹理相机为长焦相机，通过旋转俯仰来拍摄多个视角的高分辨率纹理图像。

图  1  高分辨率纹理三维成像系统结构示意图

Figure 1.  Structure with high-resolution texture of diagram 3D imaging system

理想状态下的双目立体视觉模型如图2所示，两台相机的像平面严格前向平行对准，两相机基线距离为$T$，物理焦距相同，均为$f$，像元尺寸记为$a$。空间中一点$P(x,y,z)$在两像平面中的投影点分别为${P_l}$和${P_r}$，坐标分别表示为$({u_l},v)$和$({u_r},v)$，可以定义视差$d = {u_l} - {u_r}$。

图  2  双目立体成像测量原理示意图

Figure 2.  Schematic diagram of binocular stereo imaging measurement

根据相似三角形原理可得$P$点的深度坐标$Z$为：

在理想模型中，空间中一点$P$，在系统参数$f$、$T$、$a$确定的情况下，它的深度只与其视差有关。双目立体视觉三维重建的流程如下：

(1)双目相机立体标定^[15]得出双目系统的内外参数^[16]。

(2)对相机拍摄的双目图像根据系统内外参数进行立体校正^[17]。

(3)对校正后的双目图像进行立体匹配^[18-19]。

立体匹配得到匹配视差图，此处的匹配视差图是基于双目左图的。已知双目左图像素点的二维坐标$(x',y')$和与其关联的视差$d$，可以将此点投影到三维空间中：

其中，$W = ({c_x} - c_x'){T_x} - \dfrac{d}{{{T_x}}}$，

${c_x}$、${c_y}$表征左相机光轴在图像坐标系中的偏移量；${c'}_x$表征右相机光轴在图像坐标系中的偏移量；$f$为立体校正后的左相机焦距，以像素为单位；${T_x}$为右相机指向左相机的平移向量在$x$方向的分量。

式(2)描述了双目左图与点云模型之间的对应关系，双目左图的像素坐标$(x',y')$通过重投影矩阵${{Q}}$对应到点云模型的三维坐标为$(X,Y,Z)$。值得注意的是，式(2)描述的关系中，双目左图并非左相机拍摄的原始图像，而是立体校正后的双目左图。

点云模型的最小单元为三角面片，三角面片的3个顶点为点云模型的三维点。如图3所示，左侧为双目左图像，每个像素都包含颜色信息$(R,G,B)$;右侧为点云模型的一个三角面片。根据公式(2)，可以确定双目左图点$(x_{\rm{1}}',y_1')$ $(x_{\rm{2}}',y_2')$$(x_{\rm{3}}',y_3')$与三角面片顶点$({X_1},{Y_1},{Z_1})$ $({X_2},{Y_2},{Z_2})$ $({X_3},{Y_3},{Z_3})$的对应关系,因而可以将双目左图相应图像部分的颜色信息$(R,G,B)$插值到三角面片上进行渲染显示^[20]。对于本文提出的高分辨率纹理映射方法，是通过寻找高分辨率纹理图像与双目左图的对应关系，利用双目左图作为桥梁，得到高分辨率纹理图像与点云模型的匹配关系，从而实现纹理映射。

图  3  纹理映射原理

Figure 3.  Implementation mechanism of texture mapping

图1所示的高分辨纹理映射系统，由于用于拍摄纹理图像的长焦相机的视场角较小，为了满足一幅双目左图的尺寸，纹理相机要通过水平、垂直旋转多个视角获取多幅图像，相邻图像还要有一定的重叠部分，因此，需要研究多视图像的纹理映射方法。

首先利用二维特征匹配^[21-22]建立纹理图像与校正后双目左图的对应关系。

图像匹配的流程如下：对图像提取特征点，再通过特征点对匹配，求解单应性矩阵，变换到同一个坐标系下。设纹理图像上一点的像素坐标为$(x,y)$，与其匹配的双目左图对应点的像素坐标为$(x',y')$，则在齐次坐标模式下其对应关系为：

其中，${{H}}$为单应矩阵，$s$是尺度因子，为一个非零常数，一般取1。

单应矩阵${{H}}$由匹配的特征点对计算得出。由式(4)可以得到纹理图像与双目左图的对应关系。并由式(2)可以得到点云模型的三维坐标$(X,Y,Z)$与纹理图像同名点二维坐标$(x,y)$的匹配关系为：

其中，${{{Q}}^{{{ - 1}}}}$为双目重建中重投影矩阵${{Q}}$的逆矩阵，${{{H}}_{{D}}}$来源于单应矩阵${{H}}$，只是与单应矩阵结构不同：

由上可知，通过双目左图，可以得到式(6)所示的纹理图像二维坐标与双目点云模型三维坐标的匹配关系，通过确定的匹配关系可以将单视纹理图像映射到双目点云模型上。

采用上述纹理映射方法，将多幅存在重叠部分的纹理图像分别向三维模型进行映射。但是对于图像的重叠部分，三维点只能指向一个纹理图像坐标，要对三维点选取唯一一幅纹理图像进行指定。

本文提出引导线点云数据分区方法，该方法主要分为三步：（1）确定纹理图像的重叠区域；（2）在重叠区域划定引导线；（3）将引导线重投影至三维模型，作为分界面。

首先，确定纹理图像的重叠区域，以两幅纹理图像与双目左图匹配为例，图4（彩图见期刊电子版）中的两个小四边形区域表示不同视角的纹理图像，灰色矩形区域表示双目左图，此处的双目左图为立体校正后的双目左图。两幅纹理图像分别与双目左图进行特征匹配，完成匹配后，它们在双目左图的位置将确定，如图4(a)和图4(b)所示。以双目左图为模板，可以确定两幅纹理图像的相对位置，如图4(c)所示，图中紫色区域为两幅纹理图像的重叠区域。

确定纹理图像重叠区域后，在重叠区域划定引导线，引导线为穿过两幅纹理图像重叠区域的一条直线，如图4(c)中直线a所示。本文选择纹理图像重叠区域的中线作为引导线，并记录引导线在双目左图中的位置。

最后，利用重投影矩阵${{Q}}$将引导线投影至已重建出的三维模型上，作为重建模型的分界面，如图5（彩图见期刊电子版）所示，分界面c实现了对三角网格模型的“剖分”。

分界面的作用是对三维点选取时唯一的纹理图像进行指定。分界面左侧的三维点选取其中一幅纹理图像进行映射，分界面右侧的三维点选择另一幅含有重叠部分的纹理图像进行映射，这样就可以保证每个三维点只匹配一个纹理图像坐标，从而实现多视纹理图像的融合。

图  4  引导线选取过程

Figure 4.  Process of the guide line selection

图  5  三角网格模型上的分界面

Figure 5.  The dividing surface on the triangular patch model

引导线点云数据分区方法解决了映射过程中多视纹理图像重叠部分的融合问题，但当其映射为分界面对三维点进行选择分类时，影响了原有三角面片的完整性。由图5可见，分界面穿过了7个三角面片，这些三角面片无法完成纹理映射操作。为了消除引入分界面造成的影响，对三角面片提取的纹理图像进行修复时，采用以下原则：

(1) 三角面片3个顶点有两个是红色的，另一个蓝色的顶点被修复为红色。

(2) 三角面片3个顶点有两个是蓝色的，另一个红色的顶点被修复为蓝色。

(3) 三角面片3个顶点颜色相同，则不进行修改。

红蓝颜色的修改是通过对三维点选择不同的纹理图像进行纹理映射实现的。

为了验证所提出的纹理映射方法的可行性与准确性，对分辨率板进行三维重建，并拍摄多视高分辨率纹理图像进行映射实验。搭建如图6所示的三相机系统。其中：相机1和相机2为佳能5D mark Ⅲ，镜头焦距为70 mm，组成双目立体视觉系统，基线为560 mm；相机3为佳能5D mark Ⅳ，镜头焦距为135 mm；拍摄距离约为2500 mm。

图  6  三相机系统图

Figure 6.  Diagram of the three camera system

采用宽为1000 mm、高为750 mm的分辨率板作为纹理映射实验被测物，实验中分辨率板靠墙斜放。分辨率板线对纹理可用于对比查看纹理映射效果。同时，在多视纹理融合阶段，分辨率板线对纹理也可用于观察多视纹理的融合对准效果。

双目系统采集时左右图像如图7所示，其拍摄范围为1100 mm×800 mm，图像大小为1152 pixel×768 pixel，重建分辨率板的点云结果如图8(a)～8(c)所示，图8(a)～8(c)依次为所拍场景的三维点云主视图和左、右视图。由图8可见，分辨率板、墙面及桌面的相互关系较为清晰，三维重建效果良好。

图  7  双目系统采集图像

Figure 7.  The acquired images of the binocular system

图  8  重建点云及双目左图映射结果

Figure 8.  Reconstructed point cloud and the mapping results of the binocular left image

进一步将分辨率板的点云数据生成三角网格模型，将图7(a)所示图像与三角网格模型进行纹理映射，可得到如图8(d)所示的映射模型。

为了得到具有高分辨率纹理的三维模型，通过长焦相机从多个视角拍摄被测物的高分辨率纹理图像，本文以4幅图像为例进行实验，拍摄示意图如图9所示。单幅纹理图像的拍摄范围为600 mm×400 mm，图像大小为1344 pixel×896 pixel，其分辨率为图7所示图像分辨率的2倍。4幅高分辨率纹理图像如图10所示。

图  9  多视纹理拍摄示意图

Figure 9.  Schematic diagram of multi-view texture shooting

图  10  纹理相机拍摄得到的高分辨率纹理图像

Figure 10.  High-resolution texture images obtained by the texture camera

首先对各幅纹理图像和双目左图自动检测SIFT（Scale-Invariant Feature Transform）特征点^[23]，然后用FLANN（Fast Library for Approximate Nearest Neighbors）匹配方法^[18]自动完成二维特征匹配。

完成纹理图像与双目左图的特征匹配后，结合双目左图与三维点云模型的对应关系，得到各幅纹理图像与点云模型的匹配关系。得到的4个${{{H}}_{{D}}}$矩阵分别如下：

在4幅纹理图像匹配阶段引入引导线，利用引导线点云数据分区方法实现选择性映射，最终得到完整的纹理映射结果，如图11(a)所示。由图11可以看出，4幅图像成功映射为一幅完整的纹理图。由于被分界面穿过的三角面片无法正确完成纹理映射操作，在映射模型上被分界面剖分的区域形成细微“裂缝”。利用上节提出的裂缝修复方法对该映射结果进行修复，修复后的结果如图11(b)所示，可见，相比于图11(a)，“裂缝”现象得到了改善，4幅纹理图像在重建的三维模型上的对齐效果良好。为了进一步改善图11(b)的“裂缝”现象，可以采用数字图像处理方法进行处理，如采用对裂缝区域邻域像素灰度求平均方法进行处理，结果如图11(c)所示。由图11(c)可见，裂缝现象得到了进一步改善。

为了验证本文提出的高分辨率纹理映射方法的效果，对图11(b)与图8(d)的映射模型的分辨率进行比较，将图11(b)中的方框区域进行放大显示，结果如图12(a)所示。图8(d)中相同区域的放大结果如图12(b)所示。可以看出，在图12(a)中，最多可分辨原始线宽为0.157 mm的线对（组编号为1，元素编号为5）；而在图12(b)中，最多仅可分辨原始线宽为0.315 mm的线对（组编号为0，元素编号为5）。由此可知，本文所提方法可以有效实现多视高分辨率纹理图像映射，提高三维重建模型的表面纹理分辨率。

图  11  多视高分辨率图像纹理映射结果

Figure 11.  Texture mapping results of multi-view high-resolution images

图  12  纹理图像映射结果的局部效果

Figure 12.  Local effects of mapping results for the texture image

为了进一步研究不同特征点提取算法和不同自动匹配算法对纹理映射结果的影响，又采用SURF（Speeded Up Robust Features）和ORB（ORiented Brief）特征检测算法^{[24, 25]}与SIFT算法进行了实验对比。结果显示，对于纹理图像和双目左图这种具有分辨率差异的图像进行同名特征匹配，采用具有尺度不变性的SIFT特征点检测算法更加适合。同时，采用常用的BF（Brute Force）^[18]自动匹配方法与FLANN自动匹配方法进行了实验对比，结果显示，两种匹配方法都能够得到较好的映射结果，但FLANN匹配方法的速度更快。

本文通过对多个视角的多幅高分辨率纹理图像进行融合映射，提高了双目立体视觉重建点云模型的表面纹理分辨率。将双目左图作为桥梁，通过二维特征匹配得到纹理图像与点云模型的匹配关系，从而实现高分辨率图像的纹理映射，结合引导线点云数据分区方法完成了多视纹理图像的融合，从而实现了多视高分辨率图像的纹理映射。

通过本文搭建的实验系统验证了多视高分辨率图像纹理映射方法可行、有效。在本文的实验条件下,采用双目左图进行纹理映射，点云模型最多仅可分辨原始线宽为0.315 mm的线对；而采用高二倍分辨率的纹理图像进行映射时，点云模型可分辨原始线宽为0.157 mm的线对。本文所提方法可以不用标定，有效实现多视高分辨率纹理映射，可以应用于对表面纹理分辨率要求较高的三维模型重建场合。