High dynamic range imaging technology using DMD
-
摘要: 高动态范围的图像可用于同时探测具有较大对比度的亮暗目标,利用数字微镜(DMD)获取高动态范围图像是目前最为先进的一种技术。本文在分析DMD工作原理的基础上,设计了一种像素级的高动态范围图像获取系统,该系统由光学系统、机械系统、DMD像素级调光算法及成像单元组成。光学系统采用二次成像光路,其中第一次成像物镜采用像方远心光路,第二次成像的转置镜头采用放大倍率近似1: 1的准对称结构,机械系统采用光学元件的包边设计和定心车工艺,达到秒级的光学装配精度;DMD像素级调光算法采用搜索单个微镜像素在图像帧周期间的控制权值实现,成像单元可同时兼顾科学级12 bit sCMOS和8 bit CCD,设计完成的原理样机验证了系统设计的正确性,其获取的图像动态范围可达140 dB以上,远高于传统摄像机78 dB的动态范围。Abstract: In some scenarios, very bright objectives and very dark objectives exist at the same time. The traditional imaging device can not detect these objectives, and then high dynamic range image acquiring system is needed to detect them. Digital Micro-mirror Devices(DMD) is used to get high dynamic range image, which is the most advanced technology at present. In this paper, a pixel level high dynamic range imaging system is designed based on DMD. The system is composed of optical system, mechanical system, DMD pixel level dimming algorithm and imaging unit. The secondary imaging system is used in the optical system. The first imaging optical structure is image space telecentric system, and the second imaging optical structure is magnification 1:1 quasi-symmetric system. Wrapping technology of optical elements and centering machining process are used in mechanical system, and the optical assembly precision reaches second level. The method searching for single DMD pixel's controlling weight is used in dimming algorithm. The science class 12 bit sCMOS and 8 bit CCD can be used simultaneously in imaging unit. The correctness of the system is proved by the prototype. The image dynamic range can reach 140 dB, much higher than 78 dB dynamic range of traditional cameras.
-
Key words:
- imaging system /
- high dynamic range image /
- digital micro-mirror device /
- dimming
-
1. 引 言
自然界中,由于光照、环境等因素的影响,一般会形成动态范围很大的自然场景,即同时存在极亮的目标和极暗的目标。由于人眼的光强感知能量范围最大可达200 dB,因此人眼可以轻松的获取图像,而对于广泛使用的图像传感器,如CCD、CMOS器件,其动态范围仅可达78 dB[1],因此在使用这些图像传感器获取这种高动态范围的图像时,效果往往不甚理想。
为实现高动态范围图像的获取,通常采用基于时间序列图像合成的方法,该方法通过连续获取多帧不同积分时间的图像[2, 3, 4],经“后期”图像融合实现高动态范围图像的获取,该方法相对简单,可应用于静态图像的获取,但这种“事后处理”的方式仍无法满足实时成像探测的需求[5, 6]。
数字微镜(DMD)作为一种光强调制器件,具有高光效、高可靠性、精确的光强调节等级等优点[7, 8],在红外场景生成技术[9]、三维成像领域[10]和光栅曝光照明领域[11]都有重要应用。文献[1]对采用DMD实现高动态范围图像的获取技术进行了理论介绍,指出利用DMD获取高动态范围图像的技术是目前最先进、实现最复杂的一种方式。国外在DMD应用方面也进行了大量研究[12, 13, 14],美国Shree K.Nayar等人使用分辨率为800 pixel×600 pixel的DMD和8 bit的分辨率为640 pixel×480 pixel的CCD,并采用DMD分区域调光的方式获得了一种高动态范围图像[15]。H.D.Zhang等人采用DMD“Discovery 1100 and 4100”获得了加速器的束晕像,完成的系统动态范围达107以上[16]。B.C.Riddick等人使用DMD“Discovery 1100”和像素数为765 pixel×510 pixel的CCD以及一片分光镜获取了光阴极的量子效率图[17],国内研究人员在DMD方面也开展了相关的研究工作[18, 19, 20]。
本文利用TI公司生产的DMD设计了一种高动态范围图像的获取系统,该系统由光学系统、机械系统、DMD像素级调光算法及成像单元组成。本文对各个系统进行了详细的阐述,设计完成的原理样机动态范围可达130 dB,验证了该系统的正确性。
2. 高动态范围图像获取系统
2.1 DMD工作原理
DMD由上百万个正方形微小反射镜组成,各个微小反射镜可单独寻址,具有“开态”和“闭态”,对应“ON”和“OFF”状态。本文采用的DMD其“ON”状态对应的微小反射镜旋转+12°,入射光线可进入后续光学系统,其“OFF”状态对应的微小反射镜旋转-12°,入射光线不再进入后续光学系统,而是进入吸收装置。本文设计采用的DMD为DLP 7000,尺寸为14 mm×10.5 mm,对应的微镜像元数量为1 024 pixel×768 pixel,像元间距为13.68 μm,其旋转轴为微镜的对角线,旋转示意如图1所示。
DMD最高摆动频率达20 000 Hz,当选用CMOS图像传感器时,可以对明暗目标亮度差为1 700万倍的目标同时成像和探测[5]。
2.2 高动态范围图像获取系统
为了获取高动态范围的图像,将光强调制器件DMD置于成像物镜的像面上,实现将场景目标经成像物镜成像在DMD上,然后通过转置镜头将DMD光强调制后的图像再次二次成像于成像单元即图像传感器(CCD/CMOS)上,从而获得高动态范围的场景目标图像,DMD的光强调制方式通过调光算法实现,无用的光线会进入光强吸收装置,系统的工作原理如图2所示。
由于DMD旋转轴为对角线,且稳定的“开关”状态位于±12°方向,因此转置镜头及光强吸收装置将位于±24°的方向,且两者的连线垂直于DMD旋转轴,由于空间的限制,当在±24°方向无法布置转置镜头或光强吸收装置时,则需考虑在适当的位置增加折转反射镜[5, 7]。
3. 系统设计
高动态范围图像获取系统涉及两组光学系统,一组为成像物镜光学系统,另一组为转置镜头光学系统,两组镜头在DMD所在位置耦合。系统要求DMD的像素点与图像传感器的像素点之间一一对应,因此要求光学系统的MTF≥0.5。
为达到MTF的要求并保证两组光学系统的光瞳重合,对成像物镜光学系统设计采用像方远心光路。若成像单元选用对角线尺寸16.64 mm,像素大小为13 μm的CMOS图像传感器,则转置镜头为物像放大倍率近似1∶1的光学系统,设计采用准对称型的光学结构,由于光学系统离轴,成像单元所在的像面会有一定的偏角,图3为设计完成的光学系统,图4为设计完成的光学系统传函函数曲线图。
成像单元组件由图像传感器及其支撑结构组成,支撑结构兼顾CCD和sCMOS两种图像传感器,且为便于装调,在支撑结构上设计了腰槽孔,同时前端与转置镜头采用H7/g6的最小间隙配合。
高动态范围图像获取系统的机械系统根据光学系统的要求进行设计,由于成像物镜的光学系统要求达到秒级的装配精度,因此设计采用高精度的光学元件固定方法即光学件包边和定心车工艺,同时每个光学件的机械壳体在进行定心车时,采用同一个尺寸的螺纹胎进行定心车削,如图5所示,6个光学元件均通过包边固定在机械壳体中包边后的组合件预留单边0.5 mm的定心车加工量,同时为保证定心车时的轴线不变,在每个机械壳体上都设计了相同的内螺纹胎,定心车时只需在定心车床上装卡一次外螺纹胎即可实现6个组合件直径和端面的精加工。
4. DMD像素级调光算法
DMD调光算法可以有效调节单个微镜在“开关”状态的时间长短,实现对成像单元中图像传感器对应的单个像素点不同程度的光强调节,将光子数的区域和光子数饱和的区域同时调节至图像传感器的最佳响应区域。
DMD调光通过控制一个权值实现,该权值为两帧图像之间平均的二进制值,如图6所示。若某时刻成像单元(CMOS/CCD)获取的图像为M,该图像可作为DMD的母掩膜,该图像有n帧子掩膜图像mi组成,mi中的二进制数0和1代表单个微镜的两种状态,mi的作用时间为ti,T为母掩膜周期即图像传感器的帧周期,则DMD单个微镜(x,y)处的权值r(x,y)可表示如下:
式中:pi(x,y)为子掩膜mi中坐标(x,y)处的二进制值。此时,图像传感器坐标(x,y)处的像素灰度值E(x,y)如下:
式中:L(x,y)为图像传感器(x,y)处获得的场景目标灰度值,r(x,y)为DMD在(x,y)处的光强调节权值,δ(x,y)为其他影响因子,可认为常数。E(x,y)的收敛值应当小于图像传感器的饱和值,r(x,y)的收敛速度决定着E(x,y)的收敛速度,我们设计采用试探搜索的方法确定r(x,y)[7]。
5. 实验与讨论
图7为高动态范围图像获取系统的原理样机,该原理样机可放置在桌面上,主要由主壳体、成像物镜、转置镜头和光强吸收装置等组成。
为验证高动态范围图像获取系统的正确性,本文进行了相关实验,其中成像单元采用的图像处理器为科学级sCMOS,像元数2 048 pixel×1 536 pixel,分别对明暗亮度相差较大的射灯目标和高亮度的激光进行了拍照实验。
图8(a)为DMD未调光时图像传感器获取的射灯图像,图8(b)为DMD调光后图像传感器获取的射灯图像,图8(c)为权值搜索收敛时DMD的掩膜图像,图8(d)为图8(b)和图8(c)合成恢复后的真实高动态范围图像,图9(a)为DMD全置即无调光时图像传感器sCMOS获得的激光照射在物体上的图像,从图像中只能看到激光照射的极亮光斑,图9(b)为DMD调光后经合成恢复获得的高动态范围图像。
从图8中可以清晰地看到射灯灯丝的形状,成像效果远好于图像传感器直接获得的图像,从图9中不仅可以看到激光照射的光斑,而且可以清晰地看到激光的束核,该实验结果验证了高动态范围图像获取系统的正确性。
由于本实验采用的图像传感器为科学级16 bit sCMOS,因此通过DMD后获得的图像为16 bit图像,而DMD的掩膜为12 bit图像,因此最终合成恢复后的图像可以达28 bit,图像的动态范围可达168 dB。而对于普通具有12 bit的CMOS图像传感器,则图像的动态范围可达144.4 dB,可使普通图像传感器动态范围增加一倍。
6. 结 论
本文涉及一种像素级的高动态范围图像获取系统,该系统包含的关键技术点有像方远心光路的成像物镜光学系统、二次成像的转置镜头光学系统、光学元件的包边设计和定心车工艺、DMD调光算法的实现等。设计完成的原理样机成像清晰,效果明显,获取的高动态范围图像可达140 dB以上,约为传统摄像机动态范围的2倍,该系统在航天观测、侦查等领域具有广阔的前景。
-
[1] [2] [3] [4] [5] [6] [7] [8] [9] [10] [11] [12] [13] [14] [15] [16] [17] [18] [19] [20] 期刊类型引用(6)
1. 顿雄,付强,李浩天,孙天成,王建,孙启霖. 计算成像前沿进展. 中国图象图形学报. 2022(06): 1840-1876 . 百度学术
2. 万旻,李硕,于双江,梁楠,王蕴龙,成桂梅,刘涛. TDICCD时序改进方法探讨. 航天返回与遥感. 2020(02): 87-95 . 百度学术
3. 孙武,韩诚山,吕恒毅,薛旭成,胡长虹. 推扫式多光谱遥感相机动态范围拓展方法. 中国光学. 2019(04): 906-913 . 百度学术
4. 冯维,曲兴华,王惟婧,张福民. 基于数字微镜成像系统的响应曲线标定方法研究. 光学学报. 2018(04): 176-182 . 百度学术
5. 芦碧波,皇甫珍珍,郭凯,郑艳梅,李玉静. 基于双边滤波的多尺度分层色调映射算法. 液晶与显示. 2018(09): 816-822 . 百度学术
6. 张志佳,尹秀萍,苑玮琦,周自强,钟玲. 碗形塞加工误差双目视觉在线检测方法. 红外与激光工程. 2016(12): 268-275 . 百度学术
其他类型引用(9)
-