-
图像制导利用目标辐射或反射的可见光信息形成图像，在图像中提取目标位置并实现跟踪，具有隐蔽性好、抗电磁干扰强等优点[1]，目前已在多种型号的导弹中得到应用。图像制导系统的核心器件是可见光摄像机，一般由光电系统、光电转换器件和信号处理电路等组成。传统摄像机通过对光线的角度信息进行积分得到普通的二维数字图像，仅记录了光线的空间信息，无法利用图像进行目标距离信息的获取，从而限制了现代制导律在图像制导中的应用。尽管可以利用激光[2-3]等进行测距，但多余器件的加入会增加系统的复杂度，不利于图像制导系统整体性能的提升。
光场成像不同于传统成像方式，其可以记录光线的多维信息，实现对光线空间和角度的辨识，从而让传统图像算法[4-6]在光场中能够得到进一步的发展。在光场理论不断完善的同时，光场捕获设备的相关研究也在不断发展。Yang[7]设计了一种多相机阵列光场捕获设备，能够对动态场景进行记录，但这种设备体积庞大并且成本高昂，难以实现工程和商业应用。Ng[8]简化了传统光场捕获设备的结构，在主透镜和传感器之间加入微透镜阵列，设计出一种全新的光场相机Lytro，该相机体积小且成本低，一经面世即受到广泛关注，将传统的光学研究[9-11]带入了新的领域。中国科学院的解培月[12]给出了光场变换方程，并利用这些方程建立了光场相机成像模型。西北工业大学的张春萍[13]对光场相机的成像模型和参数标定方法进行了归纳和总结。在光电计算方面，Lin等人[14-15]利用光学衍射属性搭建全光学深度学习模型，为下一代智能光场采集设备提供指导。在深度图像提取方面，Shin[16]采用数据增强和CNN训练进行深度估计，有效解决了训练数据不足的问题。Peng[17]则利用子孔径图像的发散性和顺应性设计组合损失函数，利用神经网络训练得到深度图像。为了实现对光场的视点合成，Zhou[18]利用彩色图像层和透明度层进行视点图像的快速获取。Yeung[19]则直接对四维光场数据进行神经网络训练，通过多维度信息融合获得合成图像。光场图像记录了丰富的光线信息，可以利用单张光场图像提取出目标距离信息，使现代制导律能够在图像制导中应用，提高制导精度和制导性能。
本文利用光场成像进行目标距离信息提取，通过对光场数据解码和整定获得子孔径图像，利用插值方法增加图像的空间分辨率，然后通过标定、校正、匹配和三维转换得到目标真实距离。仿真结果表明，本文提出的算法测量精度高，运算速度快，能够通过单张光场图像获取距离，对图像制导的发展有重要的现实意义。
-
当前主流光场相机采用多路复用模式进行光场捕获，通常是在主透镜和传感器之间添加微透镜阵列，其中Lytro光场相机是这类相机的典型代表，目前已经实现商业化生产，同时在学术研究中也得到广泛关注，因此本文基于该相机进行理论分析和仿真实验。图1为基于微透镜阵列的光场成像原理图。光线经过微透镜时会再一次发生折射，这样可以避免传感器对光线角度信息积分，从而在传统空间分辨的基础上实现角度分辨。光场数据一般由四维函数
$L\left( {x,y,u,v} \right)$ 表示，其中$\left( {x,y} \right)$ 记录的是光线的空间信息，即传统图像中的二维像素位置，$\left( {u,v} \right)$ 记录的是光线的角度信息，即光线射入方向，可以简化为光线在主透镜射出的位置。
图 1 光场成像原理
Figure 1. Light field imaging principle
将光场文件导出并解码从而获得四维光场数据，把每个空间像素位置处的角度数据按照对应顺序进行排列，可以复现出相机传感器捕获的原始光场图像，如图2所示。可见，图像呈现出明显的圆形分割现象，这正是微透镜阵列对光线折射而产生的结果。
图 2 原始光场图像
Figure 2. Original light field image
当光场函数中角度位置为固定值
$\left( {{u^*},{v^*}} \right)$ 时，光场数据$L\left( {x,y,{u^*},{v^*}} \right)$ 可以简化为二维数据信息，其形成的图像称为子孔径图像。图3展示了不同角度位置子孔径图像按顺序排列而成的组合。由于相机自身结构限制导致边角位置处图像亮度较低，需要后期进行滤波处理来恢复正常成像。子孔径图像为从主透镜某个位置射出的光线组合而成，尽管在视觉上难以辨识出图像的区别，但是不同的子孔径图像之间是存在视差的，这也使得利用子孔径图像进行距离测量成为可能。
图 3 子孔径图像
Figure 3. Sub-aperture images
-
子孔径图像为从不同视角对同一场景进行拍摄所得，因此每张图像可以等效为一个虚拟相机的记录结果。若想获取两张子孔径图像的视差值，首先，需要对其相对应的虚拟相机进行标定。目前众多的相机标定算法中，由于张正友标定法[20]不需要特殊的标定材料，仅需要一张棋盘格标定板即可以获得较为精确的结果，在视觉领域得到广泛应用，因此，本文采用该方法完成对虚拟相机的标定。
标定过程要确定世界坐标系
$\left( {{O_{\rm{W}}},{X_{\rm{W}}},{Y_{\rm{W}}},{Z_{\rm{W}}}} \right)$ 、相机坐标系$\left( {{O_{\rm{C}}},{X_{\rm{C}}},{Y_{\rm{C}}},{Z_{\rm{C}}}} \right)$ 、图像物理坐标系$\left( {{o_2},s,t} \right)$ 和图像像素坐标系$\left( {{o_1},x,y} \right)$ 之间的转换关系。图4为三者之间的空间相对位置，其中${O_{\rm{W}}}$ 位置是人为定义的，${O_{\rm{C}}}$ 位于相机光心，${o_1}$ 与${o_2}$ 位于成像平面，空间物理点P在4个坐标系中均有相应的坐标。
图 4 4个坐标系空间相对位置
Figure 4. Relative position of four coordinate systems
事实上，标定的最终目的是完成世界坐标系至图像像素坐标系的转换，可以得到
$$\begin{array}{l} s\left[ {\begin{array}{*{20}{c}} x \\ y \\ 1 \end{array}} \right] = {{A}}\left[ {{{R}}\;\;{{T}}} \right]\left[ {\begin{array}{*{20}{c}} {{X_{\rm{W}}}} \\ {{Y_{\rm{W}}}} \\ {{Z_{\rm{W}}}} \\ 1 \end{array}} \right] \quad, \\ \\ \end{array} $$ (1) 式中，s为比例系数，A表示相机内参数矩阵，R为旋转矩阵，T为平移向量，R与T合称为外参数矩阵。为了简化计算，一般将
${Z_{\rm{W}}}$ 置为0，同时令${{H}} = {{A}}\left[ {{{R}}\;\;{{T}}} \right]$ ，其中，H称为单应性矩阵，其具有8个自由度，只需要4个角点获得的8个方程即可求解出H。将单应性矩阵改写为
${{H}} = \left[ {\begin{array}{*{20}{c}} {{{{h}}_1}}&{{{{h}}_2}}&{{{{h}}_3}} \end{array}} \right]$ ，同时旋转矩阵拆分为${{R}} = \left[ {{{{r}}_1}\;\;{{{r}}_2}} \right]$ ，根据旋转矩阵性质可以得到：$$\begin{split} & {{h}}_1^{\rm{T}}{{{A}}^{ - {\rm{T}}}}{{{A}}^{ - 1}}{{{h}}_2} = 0 \\ & {{h}}_1^{\rm{T}}{{{A}}^{ - {\rm{T}}}}{{{A}}^{ - 1}}{{{h}}_1} = {{h}}_2^{\rm{T}}{{{A}}^{ - {\rm{T}}}}{{{A}}^{ - 1}}{{{h}}_2} \quad. \\ \end{split} $$ (2) 内参数矩阵A含有5个未知参数，因此由3个单应性矩阵获得的6个方程即可进行求解。不同的单应性矩阵可通过改变标定板姿态得到。至此已经完成初始标定过程，为了得到更为准确的标定结果，通常选取10个及以上的标定板姿态参与计算，采用极大似然法进行估计，获得误差最小的标定参数。
-
通过标定可以获得虚拟相机的内外参数，利用这些参数即可实现对子孔径图像的校正过程。图5为极线校正示意图，其中Ol和Or分别为左右虚拟相机的投影中心，Ol和Or连线与成像平面相交于el和er，这两点称为极点，空间点P与Ol、Or的连线和成像平面相交于pl和pr，其与极点的连线称为极线。
图 5 极线校正示意图
Figure 5. Schematic diagram of epipolar correction
将旋转矩阵R进行分割，可以得到
$$\begin{split} &{{{{r}}}_{{\rm{l}}}}={{{R}}^{{\scriptstyle{}^{1}\!\!\diagup\!\!{}_{2}\;}}} \\ & {{{{r}}}_{{\rm{r}}}}={{{R}}^{-{\scriptstyle{}^{1}\!\!\diagup\!\!{}_{2}\;}}}\quad. \\ \end{split}$$ (3) 为了使极线水平，首先需要构造一个单位平移向量
$${{{e}}_{{1}}} = \frac{{{T}}}{{\left\| {{T}} \right\|}}\quad,$$ (4) 之后，再构造一个向量与
${{{e}}_1}$ 及光轴正交，可以得到$${{{e}}_2} = \frac{1}{{\sqrt {T_x^2 + T_y^2} }}{\left( { - {T_y},{T_x},0} \right)^{\rm{T}}}\quad,$$ (5) 最后，建立向量
${{{e}}_3}{\rm{ = }}{{{e}}_1} \times {{{e}}_2}$ ，使其分别与前两个向量正交，最终可以得到左右校正矩阵$$\begin{split} &{{{R}}_{\rm{l}}} = \left[ {\begin{array}{*{20}{c}} {{{{e}}_1}}\\ {{{{e}}_2}}\\ {{{{e}}_3}} \end{array}} \right] \cdot {r_{\rm{l}}}\\ &{{{R}}_{\rm{r}}} = \left[ {\begin{array}{*{20}{c}} {{{{e}}_1}}\\ {{{{e}}_2}}\\ {{{{e}}_3}} \end{array}} \right] \cdot {r_{\rm{r}}}\;\;\;\;. \end{split}$$ (6) 利用校正矩阵对左右图像处理，可以使两张子孔径图像重投影至同一平面，同时相同位置的像素在同一行，这将大大减小匹配的时间消耗。
-
利用图像匹配可以获得两张子孔径图像之间的视差大小，考虑到BM（Block Matching）算法运算速度快，同时还能获得较为准确的匹配结果，适合于实际应用，本文选用BM算法进行图像匹配。图6为BM图像匹配示意图，匹配过程是通过窗口形式进行计算，此处以3×3窗口进行描述，实际上窗口大小是可以根据需求进行改变的。
图 6 图像匹配示意图
Figure 6. Schematic diagram of image matching
计算左右图像窗口内的误差之和，可以得到
$$SAD = \sum\limits_{i = 1}^9 {\left| {{A_i} - {B_i}} \right|}\quad. $$ (7) 将此SAD值作为窗口内中间像素的计算结果。图7（彩图见期刊电子版）为视差获取示意图，以左图像中某一元素
$\left( {{x_0},{y_0}} \right)$ 为基准，在右图中同一行内不断搜索，寻找到使SAD最小的像素位置，该点即为最佳匹配点，其坐标与左图像中的坐标${x_0}$ 之差即为视差d。
图 7 视差求取过程
Figure 7. Parallax finding process
为了提高匹配的鲁棒性，此处设置了最大视差点，使匹配过程在有限范围内进行，防止产生误匹配。同时设置差异率UR来进一步提高匹配准确度：
$$SAD\left( {d'} \right) \text{≥} SAD\left( {{d^*}} \right) \cdot \left( {1 + \frac{{UR}}{{100}}} \right)\quad,$$ (8) 式中，
${d^*}$ 表示最佳匹配点，$d'$ 表示次佳匹配点，只有当最佳点的SAD值低于设置的差异阈值时才予以保留，否则，认为其可信度不高而置为零。 -
当校正完成后，左右图像位于同一平面且光轴平行，图8为三维转换示意图。其中，Ol和Or为左右相机光心，O3和O4为左右成像平面中心，利用相似关系可以将视差值转化为真实距离。
图 8 三维转换示意图
Figure 8. Schematic diagram of 3D conversion
通过简单的几何分析即可得到转换矩阵为：
$${{Q}} = \left[ {\begin{array}{*{20}{c}} 1&0&0&{ - {C_x}} \\ 0&1&0&{ - {C_y}} \\ 0&0&0&f \\ 0&0&{\dfrac{1}{T}}&{\dfrac{{{{C'}_x} - {C_x}}}{T}} \end{array}} \right]\quad,$$ (9) 式中，
${C_x}$ 与${C_y}$ 为${O_3}$ 在左图像像素坐标系的位置，${C_x}^\prime $ 为${O_4}$ 在右图像像素坐标系的位置，利用该矩阵进行转化，可以得到：$${{Q}}\left[ {\begin{array}{*{20}{c}} {{x_{{\rm{l}}2}}} \\ {{y_{{\rm{l}}2}}} \\ d \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {W{X_P}} \\ {W{Y_P}} \\ {W{Z_P}} \\ W \end{array}} \right]\quad,$$ (10) 式中，
${x_{{\rm{l}}2}}$ 和${y_{{\rm{l}}2}}$ 为点P投影在左图像素坐标系中的位置坐标，d为视差大小，$\left( {{X_P},{Y_P},{Z_P}} \right)$ 为点P在左相机坐标系中的位置，其中${Z_P}$ 即为目标与相机之间的距离。 -
初始算法能够完成目标距离信息的获取，为了进一步提高测量精度，本文从两个方面对原始方法进行改进。
-
多路复用光场相机传感器可同时记录光线的角度信息和空间信息，多余维度信息的记录会占用原始的空间信息位置，实际上是用空间分辨来换取角度分辨，这就导致子孔径图像的分辨率较低，从而影响图像匹配进程，增加误匹配点。本文通过采用双线性插值方法来增大子孔径图像的空间分辨率，以此来提高匹配准确度，进而增加距离测量精度。
图9为双线性插值示意图，其中[·]为向下取整，点
$\left( {x,y} \right)$ 处的像素值大小为$Z\left( {x,y} \right)$ ，在重投影过程中x与y均可能不为整数，此时原始图像中并不存在该点像素值，需要通过二维插值的方式获得。令
$a = x - [x]$ ，$b = y - [y]$ ，先在$x$ 方向进行插值，得到$$\begin{split} &{{t_1} = aZ\left( {[x] + 1,[y]} \right) + \left( {1 - a} \right)Z\left( {[x + 1],[y]} \right)}\\ &{{t_2} = aZ\left( {[x] + 1,[y] + 1} \right) + \left( {1 - a} \right)Z\left( {[x],[y] + 1} \right)}, \end{split}$$ (11) 之后，在
$y$ 方向插值即可得到$$Z\left( {x,y} \right) = \left( {1 - b} \right){t_1} + b{t_2}\quad.$$ (12) 此时像素的插值过程已完成，子孔径图像的空间分辨率可以作任意比例的扩大。
图 9 双线性插值
Figure 9. Bilinear interpolation
由于双线性插值对原始子孔径图像进行了修改，其对应的虚拟相机内外参数均会发生改变，因此需要重新进行标定。标定过程如下：首先，将标定板子孔径图像空间分辨率按照对应比例进行扩大，之后，执行标定算法以获得新的内外参数，依据新内外参数对插值后的图像进行校正，实现新的左右子孔径图像行对准，最后，进行图像匹配和三维转换得到目标距离。
-
尽管BM算法能够获得较为准确的匹配结果，但在一些较为复杂的场景中很容易产生误匹配，对于视差获取造成很大影响。为了在不影响实时性的条件下提高匹配可靠性，本文采用半全局匹配算法进行改进。
在半全局算法中，需要构造一个基于视差的全局能量函数，使能量函数最小即可获得每个像素点的最佳视差大小，然而求解过程会耗费大量时间，这在实际应用中是不被允许的。针对该问题，本文将初始能量函数求解问题分解为多个一维线性问题，对每一条路径建立代价方程：
$$\begin{split} { {L_j}\left( {p,d} \right) = \,}&{\min \left( {{L_j}\left( {p - j,d} \right),{L_j}\left( {p - j,d \pm 1} \right) + {P_1},\mathop {\min }\limits_i {L_j}\left( {p - j,i} \right) + {P_2}} \right) } \\ & {- \mathop {\min }\limits_i {L_j}\left( {p - j,i} \right) + C\left( {p,d} \right) }\quad,\\[-10pt] \end{split} $$ (13) 式中，
$j$ 表示某一方向，${L_j}\left( {p,d} \right)$ 表示在$j$ 方向下$p$ 点位置视差为$d$ 时的最小代价值，$C\left( {p,d} \right)$ 表示$p$ 点视差为$d$ 时的代价值，${P_1},{P_2}$ 为惩罚系数。最终将各条路径的代价值求和即可得到：
$$S\left( {p,d} \right) = \sum\limits_j {{L_j}\left( {p,d} \right)} \quad.$$ (14) 使
$S\left( {p,d} \right)$ 最小的视差$d$ 即为$p$ 点的最佳视差大小。为了提高匹配的鲁棒性，对于半全局匹配算法同样采用窗口形式计算，同时设置了最大视差点对匹配范围进行限制，采用差异率来排除可信度低的视差。由于匹配算法没有改变原始子孔径图像，因此不需要重新进行标定和校正。
-
为了验证算法的可行性，本文使用光场相机捕获的图像进行距离测量。试验中采用的是Lytro光场相机，角度分辨率为11×11，空间分辨率为379×379。待测物体为图2中的包装盒目标，其与相机的真实距离为450 mm。仿真平台硬件环境为：Intel(R) Core(TM) i5-8300H CPU @2.30 GHz，8 GB内存的PC机。软件为MATLAB 2018a，Visual Studio 2015，OpenCV3.4.1。为了提高测量精度，本文选取了基线较长的两个子孔径视角
$L\left( {x,y,5,2} \right)$ 和$L\left( {x,y,5,10} \right)$ 进行分析，其所对应的虚拟相机分别为左相机和右相机 -
首先对左右虚拟相机进行标定，此处以
$L\left( {x,y,5,2} \right)$ 处的子孔径图像为例，试验中共采用了20个姿态的标定板图像，图10展示了这些图像。图11直观显示了对原始标定板的姿态复现，可以看出，通过标定能够较为准确地获得虚拟相机参数。
图 10 不同姿态的标定板图像
Figure 10. Images of calibration plate with different attitudes
图 11 标定板姿态复现
Figure 11. Calibration plate posture reproduction
计算得到左虚拟相机内参数，为：
$${{A}} = \left[ {\begin{array}{*{20}{c}} {540.991}&0&{192.891}&0 \\ 0&{541.535}&{177.996}&0 \\ 0&0&1&0 \end{array}} \right],$$ (15) 以同样的方法对右虚拟相机进行标定，得到其内参数为：
$${{{A}}_2} = \left[ {\begin{array}{*{20}{c}} {539.280}&0&{200.904}&0 \\ 0&{539.808}&{177.332}&0 \\ 0&0&1&0 \end{array}} \right].$$ (16) 利用两台虚拟相机进行立体标定，得到其旋转矩阵R*和平移矩阵T*分别为：
$$\begin{array}{l} {{{R}}^*} = \left[ {\begin{array}{*{20}{c}} {0.999}&{ - 0.001}&{ - 0.034} \\ {0.001}&{1.000}&{0.005} \\ {0.034}&{ - 0.005}&{0.999} \end{array}} \right] , \\ \\ {{{T}}^*} = \left[ {\begin{array}{*{20}{c}} { - 2.142}&{ - 0.005}&{0.131} \end{array}} \right]. \\ \end{array} $$ (17) 获得内外参数后即可进行校正，图12为校正结果，可以看出校正完成后的两张子孔径图像平行且实现了行对准。
图 12 两张子孔径图像的校正图像
Figure 12. Correcting results of two sub-aperture images
之后，采用BM算法进行匹配，窗口、最大视差点和差异率从最小值开始逐步增加，直至能较为清晰地辨识出目标物体的轮廓，此时将窗口大小设置为7×7，最大视差点设置为16，差异率设置为5，得到图13所示的匹配深度图像，图像中的灰度值代表着该位置的距离信息。可见，此时能够识别出目标的位置。
图 13 小参数匹配结果
Figure 13. Small parameter matching results
为了提高匹配的准确度和可信度，尽可能减少误匹配点，在一定范围内不断增大参数，直至目标物体的视差图不再发生较为显著的变化，此时窗口大小为17×17，最大视差点设置为128，差异率为40，得到的匹配深度图像如图14所示。此时获得的视差位置可信度更高，有利于提高距离测量的准确性。将矩形区域内不为零的像素点称为有效像素点。
图 14 大参数匹配结果
Figure 14. Large parameter matching results
-
采用双线性插值算法将原始子孔径图像的空间分辨率扩大为758×758，对初始标定板图像插值后进行重新标定，得到左虚拟相机内参数为：
$${{\tilde{{ A}}} = \left[ {\begin{array}{*{20}{c}} {1\;080.462}&0&{374.987}&0 \\ 0&{1\;081.982}&{352.004\;3}&0 \\ 0&0&1&0 \end{array}} \right]},$$ (18) 右虚拟相机内参数为：
$${{{\tilde{{ A}}}_2} = \left[ {\begin{array}{*{20}{c}} {1\;079.897}&0&{418.675}&0 \\ 0&{1\;081.852}&{348.325}&0 \\ 0&0&1&0 \end{array}} \right]}\quad,$$ (19) 旋转矩阵和平移矩阵分别为
$$\begin{array}{l} {{\tilde {{R}}}^*} = \left[ {\begin{array}{*{20}{c}} {1.000}&{ - 0.001}&{ - 0.033} \\ {0.001}&{1.000}&{0.003} \\ {0.033}&{ - 0.004}&{1.000} \end{array}} \right] \;\;, \\ \\ {{\tilde {{T}}}^*} = \left[ {\begin{array}{*{20}{c}} { - 2.200}&{ - 0.023}&{0.233} \end{array}} \right]. \\ \end{array} $$ (20) 可以看出，插值对于内外参数的数值有较大影响，需进行校正和BM匹配。同样将窗口大小设置为17×17，最大视差点设置为128，差异率设置为40，得到的匹配结果如图15所示。从视觉上看矩形区域内有效像素点似乎变少了，但此时图像分辨率已经扩大，因此实际上像素点数目大于原始算法。
图 15 插值后匹配结果
Figure 15. Matching results after interpolation
-
由于仅修改了匹配方式，无需重新进行标定。为了便于对比，同样将窗口大小设置为17×17，最大视差点设置为128，差异率设置为40，得到的匹配结果如图16所示。可以看出，矩形区域内的有效像素点显著增加，大大提高了结果的可信度。
图 16 半全局匹配结果
Figure 16. Semi-global matching results
-
同时采用双线性插值和半全局匹配方法对初始算法进行改进，将窗口大小设置为17×17，最大视差点设置为128，差异率设置为40，得到的匹配结果如图17所示。此时得到的深度图像更为清晰。
图 17 双重改进结果
Figure 17. Double improvement results
-
为了提高距离测量的准确性，只采用子孔径图像盒状目标区域内的有效像素点计算距离结果，求取这些点的距离平均值。表1给出了算法的各项指标。
表 1 不同算法的测量结果
Table 1. Measurement results with different algorithms
距离测量/mm 有效像素点 初始算法 488.57 8051 双线性插值算法 480.59 21363 半全局匹配算法 483.10 16659 双重改进算法 466.55 57441 可以看出，初始算法的有效像素点较少，距离测量误差相对较大；双线性插值算法以及半全局匹配算法均可以较大幅度地增加有效像素点数目，同时在一定程度上提高距离测量精度；双重改进算法不仅大幅增加了有效像素点数量，同时距离测量精度也得到有效提高，使误差减小至20 mm以内，可以大大提高复杂场景下的测量可信度与准确性。
为了进一步验证算法的可行性，采用不同的物体目标及距离进行试验，得到的结果如图18所示。可以看出，改进算法能够识别出更多的细节，提高了深度图像的质量。
图 18 不同物体目标的测量结果（从左到右依次为原始图像，初始算法结果及双重改进算法结果）
Figure 18. Test results of different objects (From left to right are original image, initial algorithm results and double improvement algorithm results)
表2为A、B、C 3个物体的测量结果。可以看出，相对于初始算法，改进算法获得的有效像素点数目大大增加，同时距离测量的精度也有效提高，能够获得相对准确的测量结果。由于算法的运行平台为PC机，系统自身运行会产生大量的时间开销，而初始算法在专用硬件平台中是可以达到毫秒级的，改进算法的时间开销约为初始算法的五倍左右，依然可以满足实时性需求。同时还可以看出，在相同距离下，由于匹配像素点的数目随着目标体积的增大而增加，误匹配产生的可能性也随之增大，因此大体积物体的距离测量误差较大。
表 2 实验结果
Table 2. Experiment results
真实距离/mm 距离测量/mm 有效像素点 时间/s A-初始算法 400 442.83 17218 1.31 A-改进算法 400 431.14 111380 6.42 B-初始算法 400 372.50 3161 1.06 B-改进算法 400 392.54 28557 5.83 C-初始算法 450 465.28 4156 1.27 C-改进算法 450 443.72 14168 5.76 -
本文提出了一种基于光场成像的目标测距算法，首先从光场数据中提取出子孔径图像，之后对图像进行双线性插值处理，将插值后的图像进行标定获得对应虚拟相机的内、外参数，利用这些参数对子孔径图像进行校正，使其共面并且行对准。采用半全局匹配方法获得视差，通过三维转换将视差变为目标真实距离。实验结果表明，改进前算法的平均测量误差为28.54 mm，改进后算法的平均测量误差为14.96 mm，距离测量精度得到有效提高。当前能够对500 mm内目标进行精确的距离测量，在保证精度的同时实现远距离测量是下一步研究的方向。
-
摘要: 为了使现代制导律能够在图像制导中得以应用，提高图像制导的性能，针对图像制导难以获取目标距离信息的问题，提出基于光场成像的目标测距算法。该算法首先对光场数据进行解码和整定，从原始图像中提取出子孔径图像；其次，对两张子孔径图像进行双线性插值，以提高图像的空间分辨率；之后，选取两张子孔径图像进行标定以获取对应的内参数和外参数，并利用这些参数校正子孔径图像，使其共面且行对准；最后，采用半全局匹配方法进行图像匹配，获取目标的视差值，将视差进行三维转换即可得到目标距离。实验结果表明，改进前、后算法的平均测量误差分别为28.54 mm和14.96 mm，距离测量精度得到有效提高，能够在较为复杂的场景中有效提取目标距离信息，具有一定的理论和应用价值。Abstract: At present, it is difficult to obtain target distance information in image guidance. In order to apply modern guidance laws to image guidance technology and improve its performance, a target ranging algorithm using light field imaging is proposed. The algorithm decodes and tunes light field data to extract sub-aperture images from an original image. Bilinear interpolation is then performed on the two sub-aperture images to improve the image’s spatial resolution, and two sub-aperture images are selected as calibration data to obtain the corresponding internal and external parameters. The parameters are used to correct the sub-aperture images, which aligns them and makes them coplanar. Finally, a semi-global matching method is used to match the images to obtain the disparity value of the target. Then, 3D transformation of parallax can be used to get the target distance. The experimental results show that the average measurement errors of the algorithm are 28.54 mm and 14.96 mm, respectively, before and after improvement. This algorithm can effectively extract target distance information in complex scenes, which has value in theoretical and real-world applications.
-
Key words:
- light field imaging /
- sub-aperture images /
- distance measurement
-
图 18 不同物体目标的测量结果（从左到右依次为原始图像，初始算法结果及双重改进算法结果）
Figure 18. Test results of different objects (From left to right are original image, initial algorithm results and double improvement algorithm results)
表 1 不同算法的测量结果
Table 1. Measurement results with different algorithms
距离测量/mm 有效像素点 初始算法 488.57 8051 双线性插值算法 480.59 21363 半全局匹配算法 483.10 16659 双重改进算法 466.55 57441 
下载: 导出CSV
表 2 实验结果
Table 2. Experiment results
真实距离/mm 距离测量/mm 有效像素点 时间/s A-初始算法 400 442.83 17218 1.31 A-改进算法 400 431.14 111380 6.42 B-初始算法 400 372.50 3161 1.06 B-改进算法 400 392.54 28557 5.83 C-初始算法 450 465.28 4156 1.27 C-改进算法 450 443.72 14168 5.76
下载: 导出CSV
-
[1] 姚秀娟, 彭晓乐, 张永科. 几种精确制导技术简述[J]. 激光与红外,2006,36(5):338-340. doi: 10.3969/j.issn.1001-5078.2006.05.002 YAO X J, PENG X L, ZHANG Y K. Brief descriptions of precision guidance technology[J]. Laser &Infrared, 2006, 36(5): 338-340. (in Chinese doi: 10.3969/j.issn.1001-5078.2006.05.002 [2] 胡林亭, 李佩军, 姚志军. 提高外场重频激光光斑测量距离的研究[J]. 液晶与显示,2006,31(12):1137-1142. HU L T, LI P J, YAO ZH J. Improvement of the measuring distance of repetitive-frequency laser spot in field[J]. Chinese Journal of Liquid Crystals and Displays, 2006, 31(12): 1137-1142. (in Chinese [3] 黄继鹏, 王延杰, 孙宏海. 激光光斑位置精确测量系统[J]. 光学 精密工程,2013,21(4):841-848. doi: 10.3788/OPE.20132104.0841 HUANG J P, WANG Y J, SUN H H. Precise position measuring system for laser spots[J]. Optics and Precision Engineering, 2013, 21(4): 841-848. (in Chinese doi: 10.3788/OPE.20132104.0841 [4] 谢艳新. 基于LatLRR和PCNN的红外与可见光融合算法[J]. 液晶与显示,2019,34(4):423-429. doi: 10.3788/YJYXS20193404.0423 XIE Y X. Infrared and visible fusion algorithm based on latLRR and PCNN[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(4): 423-429. (in Chinese doi: 10.3788/YJYXS20193404.0423 [5] 赵战民, 朱占龙, 王军芬. 改进的基于灰度级的模糊C均值图像分割算法[J]. 液晶与显示,2020,35(5):499-507. doi: 10.3788/YJYXS20203505.0499 ZHAO ZH M, ZHU ZH L, WANG J F. Improved fuzzy C-means algorithm based on gray-level for image segmentation[J]. Chinese Journal of Liquid Crystals and Displays, 2020, 35(5): 499-507. (in Chinese doi: 10.3788/YJYXS20203505.0499 [6] 冯维, 吴贵铭, 赵大兴, 等. 多图像融合Retinex用于弱光图像增强[J]. 光学 精密工程,2020,28(3):736-744. doi: 10.3788/OPE.20202803.0736 FENG W, WU G M, ZHAO D X, et al. Multi images fusion Retinex for low light image enhancement[J]. Optics and Precision Engineering, 2020, 28(3): 736-744. (in Chinese doi: 10.3788/OPE.20202803.0736 [7] YANG J C, EVERETT M, BUEHLER C. A real-time distributed light field camera[C]. Proceedings of the 13th Eurographics Workshop on Rendering, ACM, 2002: 77-86. [8] NG R. Digital light field photography[D]. California: Stanford University, 2006: 38-50. [9] 计吉焘, 翟雨生, 吴志鹏, 等. 基于周期性光栅结构的表面等离激元探测[J]. 光学 精密工程,2020,28(3):526-534. doi: 10.3788/OPE.20202803.0526 JI J T, ZHAI Y SH, WU ZH P, et al. Detection of surface plasmons based on periodic grating structure[J]. Optics and Precision Engineering, 2020, 28(3): 526-534. (in Chinese doi: 10.3788/OPE.20202803.0526 [10] 于洁, 李鹏涛, 王春华, 等. RGBW液晶显示中的像素极性排布方式解析[J]. 液晶与显示,2020,35(5):444-448. doi: 10.3788/YJYXS20203505.0444 YU J, LI P T, WANG CH H, et al. Pixel polarity arrangement analysis of RGBW LCD module[J]. Chinese Journal of Liquid Crystals and Displays, 2020, 35(5): 444-448. (in Chinese doi: 10.3788/YJYXS20203505.0444 [11] 王江南, 丁磊, 倪婷, 等. 基于微结构阵列基板的高效顶发射OLED器件[J]. 液晶与显示,2019,34(8):725-732. doi: 10.3788/YJYXS20193408.0725 WANG J N, DING L, NI T, et al. High-efficiency top-emitting OLEDs based on microstructure array substrate[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(8): 725-732. (in Chinese doi: 10.3788/YJYXS20193408.0725 [12] 解培月, 杨建峰, 薛彬, 等. 基于矩阵变换的光场成像及重聚焦模型仿真[J]. 光子学报,2017,46(5):0510001. doi: 10.3788/gzxb20174605.0510001 XIE P Y, YANG J F, XUE B, et al. Simulation of light field imaging and refocusing models based on matrix transformation[J]. Acta Photonica Sinica, 2017, 46(5): 0510001. (in Chinese doi: 10.3788/gzxb20174605.0510001 [13] 张春萍, 王庆. 光场相机成像模型及参数标定方法综述[J]. 中国激光,2016,43(6):0609004. doi: 10.3788/CJL201643.0609004 ZHANG CH P, WANG Q. Survey on imaging model and calibration of light field camera[J]. Chinese Journal of Lasers, 2016, 43(6): 0609004. (in Chinese doi: 10.3788/CJL201643.0609004 [14] LIN X, RIVENSON Y, YARDIMCI N T, et al. All-optical machine learning using diffractive deep neural networks[J]. Science, 2018, 361(6406): 1004-1008. doi: 10.1126/science.aat8084 [15] YAN T, WU J M, ZHOU T K, et al. Fourier-space diffractive deep neural network[J]. Physical Review Letters, 2019, 123(2): 023901. doi: 10.1103/PhysRevLett.123.023901 [16] SHIN C, JEON H G, YOON Y, et al.. EPINET: a fully-convolutional neural network using epipolar geometry for depth from light field images[C]. Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, IEEE, 2018: 4748-4757. [17] PENG J Y, XIONG ZH W, LIU D, et al.. Unsupervised depth estimation from light field using a convolutional neural network[C]. Proceedings of 2018 International Conference on 3D Vision, IEEE, 2018: 295-303. [18] ZHOU T H, TUCKER R, FLYNN J, et al. Stereo magnification: learning view synthesis using multiplane images[J]. ACM Transactions on Graphics, 2018, 37(4): 65. [19] YEUNG H W F, HOU J H, CHEN J, et al.. Fast light field reconstruction with deep coarse-to-fine modeling of spatial-angular clues[C]. Proceedings of the 15th European Conference on Computer Vision, Springer, 2018: 137-152. [20] ZHANG ZH Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. doi: 10.1109/34.888718 -
点击查看大图
图(18) / 表 (2)
计量
- 文章访问数: 180
- HTML全文浏览量: 69
- PDF下载量: 34
- 被引次数: 0
