Design of a control system for a visible/near-infrared real-time imaging spectrometer
-
摘要: 针对高光谱成像需求,设计了一套可见/近红外实时成像光谱仪。光谱仪基于声光可调谐滤波器(Acousto-Optic Tunable Filter , AOTF)分光器件进行设计,光谱带宽为1.3 μm,其中可见光相机工作在400~1000 nm波段,近红外相机工作在1000~1700 nm波段。光谱仪控制系统以现场可编程门阵列(Field Programmable Gate Array, FPGA)为核心处理单元,使用Cameralink接口采集相机数据,使用RS422串口对AOTF进行频率控制,通过AOTF同步信号与相机外触发信号相结合,实现了连续图像与多波长循环采集的一一对应,图像数据最后经过USB3.0接口传输到上位机进行实时显示。经外场测试,光谱仪成像质量良好,系统工作稳定,针对1024×1024分辨率图像,图像实时传输速率最高可达120 frame/s,满足设计要求。在实际工程应用中,该控制系统接口丰富,且可靠性高、灵活性好,具有较强的可扩展性。Abstract: A visible/near-infrared real-time imaging spectrometer is designed for hyperspectral imaging on the basis of an Acousto-Optic Tunable Filter (AOTF). Its operating band range is 1.3 μm, in which the visible light camera works in the 400−1000 nm band and the near-infrared camera works in 1000−1700 nm band. A Field-Programmable Gate Array (FPGA) is used as the core processing unit of the spectrometer control system. The Cameralink interface is used to collect camera data, the AOTF frequency is controlled by the serial port. Through the combination of AOTF synchronization signal and the trigger signal outside the camera, the one-to-one correspondence between a continuous image and multi-wavelength cyclic acquisition is realized. Finally, the image data is transmitted to the upper computer through the USB3.0 interface for real-time display. The field test shows that the imaging quality of the spectrometer is good and the system works stably. For images with a 1024×1024 resolution, the real-time transmission rate of the image can reach up to 120 frame/s, which meets the design requirements. In practical engineering applications, the control system has a rich interface, high reliability, flexible interface and strong expansibility.
-
1. 引 言
随着光谱成像技术的不断革新,成像光谱仪开始向多波段、宽光谱覆盖范围以及高分辨率方向发展。2010年,中国科学院西安光学精密机械研究所常凌颖等人设计的AOTF成像光谱仪,光谱范围为1000 nm~1700 nm,带宽为700 nm[1];2012年,北京航空航天大学精密光机电一体化技术实验室赵慧洁等人,面向火星探测研制了一种基于AOTF的成像光谱仪原理样机,光谱范围为550 nm~1000 nm,带宽为450 nm,图像传输速率为12.5 MB/s[2];2013年,赵慧洁等人又设计了基于数字信号处理器控制的实时成像光谱仪,图像传输速率为10 MB/s[3];2017年,中国科学院长春光学精密机械与物理研究所(简称长春光机所)曹佃生等人,设计了一种适于机载的宽视场、大相对孔径的改进型Dyson光谱成像系统,系统工作光谱范围为320 nm~1050 nm,带宽为730 nm[4];2019年,长春光机所张佳伦等人,设计了一种Offner型自由曲面棱镜光谱仪,光谱范围为380 nm~780 nm,带宽为400 nm[5];2020年,长春光机所樊星皓等人利用线性渐变滤光片分光技术设计了一种高光谱成像光谱仪,光谱范围为403 nm~988 nm,带宽为585 nm[6];2017年,中国科学院苏州生物医学工程技术研究所设计了一套棱镜-光栅-棱镜型可见近红外成像光谱仪,光谱范围为400 nm~1000 nm,带宽为600 nm[7];2020年,中国科学院上海应用物理研究所空间主动光电技术重点实验室刘世界等人,使用棱镜-透射光栅-棱镜分光器件设计了一套光谱成像系统,光谱范围为400 nm~1000 nm,带宽为600 nm[8]。现有成像光谱仪光谱带宽普遍较窄,光谱仪的谱段范围决定了待测目标在不同环境下的成像质量,进而影响后续目标分析系统的检测能力,因此拓宽光谱带宽,提高光谱仪采集速率,对于高质量目标检测与分析有着重大意义。
2. 实时成像光谱仪
光学系统中的分光器件是决定系统成像质量的关键模块,光谱仪中常见的分光器件有棱镜、光栅以及声光可调谐滤波器等,相较于棱镜和光栅,声光可调谐滤波器作为一种新型分光器件,具有体积小重量轻、扫描速度快、无移动部件、抗震性好等特点,同时其支持的光谱范围更广、入射孔径以及视场角更大,能够快速响应不同波长的选择,在多光谱成像应用中有着较大的优势[9]。AOTF通常由二氧化碲制作,可以实现从可见光到中红外的工作波长范围,文献[1-3]、[10-12]均采用AOTF分光器件实现了成像光谱仪的设计。
2.1 AOTF简介
AOTF是一种利用声光衍射原理工作的分光器件,由声光晶体、超声换能器以及吸声装置组成,结构示意图如图1所示。超声换能器将射频驱动器发出的信号转换为超声信号传送到声光晶体中,超声波引起晶体折射率发生周期性的变化形成超声光栅,当入射光照射到光栅后产生布拉格衍射,衍射光波长与射频驱动信号的频率相对应。如果入射光有较为复杂的光谱成分,即包含多种波长形式的光,通过改变射频驱动信号的频率即可改变衍射光的波长,从而达到分光目的;吸声装置用来吸收透过介质的声波,避免发生反射[13]。
2.2 光谱仪整体架构设计
在光谱仪设计中,如果把多个工作在不同波段范围的电荷耦合元件(Charge-Coupled Device, CCD)集成到同一台光谱仪,不仅可以得到更宽的光谱以及更多的波段信息,还能使获取的目标信息变得更加精细[14-15]。可见光传感器通常可以捕捉到人肉眼能够看到的场景,红外传感器可以捕捉到弱光条件下的场景,因此将可见光传感器与红外传感器相结合,对不同环境下军事领域的目标观测,有着极其重要的应用价值[16-19]。图2即为可见光/近红外光谱仪系统结构示意图。
可见光/近红外光谱仪由光学系统、可见光相机、近红外相机、AOTF以及成像采集控制系统组成,其中可见光相机采用CMOS(Complementary Metal Oxide Semiconductor)探测器芯片,工作波段为400~900 nm,图像分辨率为1024×1024,最大帧频为50 frame/s;近红外相机采用InGaAs焦平面探测器,工作波段范围为900~1700 nm,图像分辨率为640×512,最大帧频为50 frame/s。光谱仪整体工作波段范围为400~1700 nm,带宽为1.3 μm。系统工作时默认采集400 nm波长图像,上位机可以通过波长设置指令控制AOTF的工作,进而观察到任意有效波长下的图像。
2.3 光谱仪控制系统设计
光谱仪控制系统在Xilinx XC7K325T系列FPGA芯片上实现,控制系统结构如图3(a)所示。控制系统主要包括两路Cameralink接口、两路相机外触发信号(SYN)、两路AOTF复位信号(AOTF_OUT)、两路AOTF使能信号(AOTF_IN)、五路RS422串口(serial port)以及一路USB3.0接口。图3(b)为控制系统的PCB板图,主控芯片为Xilinx XC7K325T型号FPGA。
Cameralink是一种专门用于图像数字传输的协议,数据传输模式主要分为Base模式、Medium模式以及Full模式,可见光相机以及近红外相机均采用Base模式传输图像数据;协议中同时定义了4位数据使能控制信号,分别为帧同步信号(FVAL)、行同步信号(LVAL)、数据有效信号(DVAL)以及空闲备用信号,信号均为高有效[20]。在进行图像采集时,通过判断FVAL、LVAL、DVAL 3个信号是否有效,即可采集到实时的图像数据。相机工作分为内触发模式和外触发模式,内触发模式下按照固定帧频采集图像;外触发模式下可以通过发送外触发信号(SYN)来控制相机帧频;相机串口用于上位机对相机增益、曝光时间及其它参数的手动配置,可以随时调整相机的工作方式。图像数据采用USB3.0接口传输到上位机进行实时显示,USB3.0接口设计简单、应用广泛且具有最高5 Gbps的传输速度,因此非常适用于高速数据的传输。
AOTF选用中电集团LSG系列产品,由于可见光相机和红外相机工作波长范围不同,因此相机使用的AOTF也不同。AOTF1工作波长为400~1000 nm,光谱分辨率为2~10 nm,衍射效率大于60%;AOTF2工作波长为900~1700 nm,光谱分辨率为2~13 nm,衍射效率大于60%。
两个AOTF控制方式相同,都包含两个控制信号和一个串口配置信号。串口配置信号用来配置AOTF的工作频率以及幅度,使用RS422协议进行通信,工作频率与工作波长一一对应,通过射频信号频率计算公式即可得出。AOTF有单频和扫频两种工作模式,单频模式下AOTF按单一频率工作;扫频模式下AOTF可以按照初始频率以及设定步长,多频率循环工作。频率设置完成后AOTF_IN信号拉高,表明频率设置完成,需要注意的是在AOTF_IN信号拉高时,用户无法继续对AOTF的频率进行配置;当用户向AOTF发送一个高电平持续时间至少为2 ms的AOTF_OUT信号时, AOTF_IN信号会被拉低,此时可继续对AOTF做频率配置。
按照控制系统中各设备及接口的工作特点,设定了光谱仪控制系统的工作流程:设备通电后,上位机通过串口向控制系统发送波长信息以及相机帧频信息,之后控制系统根据波长数值启动其对应的AOTF工作,然后将波长信息转换成频率信息发送给AOTF,AOTF频率设置完成后拉高AOTF_IN信号,AOTF_IN信号拉高以后控制系统向相机外触发信号发送对应帧频的波形信号,此时相机开始采集图像,接收到的图像信息通过USB3.0接口实时传输到上位机显示,一幅图像采集完成后相机停止工作,控制系统向AOTF发送一个高电平为2 ms的AOTF_OUT信号,等待AOTF_IN信号拉低,信号拉低后继续相应操作进行图像采集与实时显示。
上文提到AOTF有单频和扫频两种工作模式,扫频模式下AOTF_IN信号拉低以后,控制系统按照上位机设定的初始波长和步长计算出对应频率,自动重复上述工作流程即可完成固定波长下的图像采集。若上位机发送单频指令,当指令中只有一种波长,AOTF_IN信号拉低以后,自动重复上述工作流程即可完成单一波长下的图像采集;当指令中有多种波长信息,首先需要将波长信息缓存到FPGA的片内RAM之中,RAM深度可根据波长数量调整,每拉低一次AOTF_IN信号按顺序循环读取一次RAM,将读出的波长信息转换成对应的频率信息,自动重复上述工作流程即可完成任意多波长下的图像采集。为方便图像分析与显示,控制系统还对每幅图像做了信息标记,信息包括相机类型、图像波长、图像帧号以及图像帧频,至此整个控制系统设计完成。
3. 系统测试
为验证光谱仪成像系统的可行性,对光谱仪进行了外场测试。图4为光谱仪地面测试工作图,测试目标为地面建筑物,方框部分即为光谱仪实物图。
测试时采用3种固定波长循环成像,波长数值可以在400~1700 nm范围内任意设置,图5为可见光相机在不同波长下采集到的目标图像,工作波长分别为450、550以及750 nm;图6为近红外相机在不同波长下采集到的目标图像,工作波长分别为900、1000以及1400 nm;相机帧频均为50 frame/s。从图中可以看出,不同物体对不同波长有着不同的反射率,因此在不同波长下,上位机采集到的图像亮度及其包含的有效信息不同;同时由于AOTF在不同波长工作时衍射效率的差异,导致目标图像在清晰度上也有所区别。
4. 结 论
高光谱成像应用中,针对现有成像光谱仪光谱范围窄、采集图像速率慢的问题,本文设计了一款基于AOTF的可见/近红外实时成像光谱仪。光谱仪采用Xilinx XC7K325T型号 FPGA作为主控芯片,最终实现了光谱带宽为1.3 μm的实时成像,光谱分辨率为2~13 nm。使用USB3.0接口将数据传输到上位机做实时显示,针对1024×1024分辨率图像,最高速率达120 frame/s。该光谱仪支持多种分辨率相机以及多种波长范围的AOTF设备,有着很强的可扩展性,因此具备非常重要的实用价值。
-
-
[1] 常凌颖, 赵葆常, 邱跃洪, 等. 声光可调谐滤波器成像光谱仪光学系统设计[J]. 光学学报,2010,30(10):3021-3026. doi: 10.3788/AOS20103010.3021CHANG L Y, ZHAO B CH, QIU Y H, et al. Optical design of imaging Spectrometer based on acousto-optic tunable filter[J]. Acta Optica Sinica, 2010, 30(10): 3021-3026. (in Chinese) doi: 10.3788/AOS20103010.3021 [2] 赵慧洁, 程宣, 张颖. 用于火星探测的声光可调谐滤波器成像光谱仪[J]. 光学 精密工程,2012,20(9):1945-1952. doi: 10.3788/OPE.20122009.1945ZHAO H J, CHENG X, ZHANG Y. Design of acousto-optic imaging spectrometer for mars exploration[J]. Optics and Precision Engineering, 2012, 20(9): 1945-1952. (in Chinese) doi: 10.3788/OPE.20122009.1945 [3] 赵慧洁, 宋汪洋, 张颖, 等. 声光可调谐滤波器成像光谱仪实时预处理系统[J]. 中国光学,2013,6(4):577-583.ZHAO H J, SONG W Y, ZHANG Y, et al. Real-time pre-processing system of AOTF imaging spectrometer[J]. Chinese Optics, 2013, 6(4): 577-583. (in Chinese) [4] 曹佃生, 石振华, 林冠宇. 机载海洋改进型Dyson高光谱成像仪的研制[J]. 光学 精密工程,2017,25(6):1403-1409. doi: 10.3788/OPE.20172506.1403CAO D SH, SHI ZH H, LIN G Y. Development of airborne ocean modified Dyson hyperspectral imager[J]. Optics and Precision Engineering, 2017, 25(6): 1403-1409. (in Chinese) doi: 10.3788/OPE.20172506.1403 [5] 张佳伦, 郑玉权, 蔺超, 等. 消像散的自由曲面棱镜光谱仪光学系统设计[J]. 中国光学,2020,13(4):842-851. doi: 10.37188/CO.2019-0049ZHANG J L, ZHENG Y Q, LIN C, et al. Design of a freeform curved prism imaging spectrometer based on an anastigmatism[J]. Chinese Optics, 2020, 13(4): 842-851. (in Chinese) doi: 10.37188/CO.2019-0049 [6] 樊星皓, 刘春雨, 金光, 等. 轻小型高分辨率星载高光谱成像光谱仪[J]. 光学 精密工程,2021,29(3):463-473. doi: 10.37188/OPE.20212903.0463FAN X H, LIU CH Y, JIN G, et al. Small and high-resolution spaceborne hyperspectral imaging spectrometer[J]. Optics and Precision Engineering, 2021, 29(3): 463-473. (in Chinese) doi: 10.37188/OPE.20212903.0463 [7] 罗刚银, 王弼陡, 陈玉琦, 等. 可见近红外波段无人机载成像光谱仪设计[J]. 光子学报,2017,46(9):930001. doi: 10.3788/gzxb20174609.0930001LUO G Y, WANG B D, CHEN Y Q, et al. Design of visible near infrared imaging spectrometer on unmanned aerial vehicle[J]. Acta Photonica Sinica, 2017, 46(9): 930001. (in Chinese) doi: 10.3788/gzxb20174609.0930001 [8] 刘世界, 李春来, 徐睿, 等. 电子式多狭缝组合编码高光谱成像系统[J]. 光学学报,2020,40(1):0111026. doi: 10.3788/AOS202040.0111026LIU SH J, LI CH L, XU R, et al. Hyperspectral imaging system using electronic multi-slot combination coding[J]. Acta Optica Sinica, 2020, 40(1): 0111026. (in Chinese) doi: 10.3788/AOS202040.0111026 [9] 刘济帆, 马艳华, 张雷, 等. 基于AOTF的新型成像光谱系统[J]. 红外与激光工程,2013,42(11):3065-3069. doi: 10.3969/j.issn.1007-2276.2013.11.035LIU J F, MA Y H, ZHANG L, et al. New hyperspectral imaging system based on AOTF[J]. Infrared and Laser Engineering, 2013, 42(11): 3065-3069. (in Chinese) doi: 10.3969/j.issn.1007-2276.2013.11.035 [10] NAG S, HEWAGAMA T, GEORGIEV G T, et al. Multispectral snapshot imagers onboard small satellite formations for multi-angular remote sensing[J]. IEEE Sensors Journal, 2017, 17(16): 5252-5268. doi: 10.1109/JSEN.2017.2717384 [11] 张瑞, 陈友华, 李世伟, 等. 基于双AOTF的新型成像光谱偏振探测系统[J]. 光谱学与光谱分析,2016,36(5):1549-1553.ZHANG R, CHEN Y H, LI SH W, et al. The research of spectral polarization imaging detection system based dual-AOTFs[J]. Spectroscopy and Spectral Analysis, 2016, 36(5): 1549-1553. (in Chinese) [12] 姜庆辉, 邱跃洪, 文延, 等. AOTF偏振光谱成像数据采集系统设计[J]. 红外与激光工程,2012,41(1):218-222. doi: 10.3969/j.issn.1007-2276.2012.01.042JIANG Q H, QIU Y H, WEN Y, et al. Design of data acquisition system for AOTF polarization spectral imaging instrument[J]. Infrared and Laser Engineering, 2012, 41(1): 218-222. (in Chinese) doi: 10.3969/j.issn.1007-2276.2012.01.042 [13] 陈明惠, 贾文宇, 何锦涛, 等. 双重滤波扫频光源的研制[J]. 光学 精密工程,2018,26(10):2355-2362. doi: 10.3788/OPE.20182610.2355CHEN M H, JIA W Y, HE J T, et al. Development of swept source based on dual filtering[J]. Optics and Precision Engineering, 2018, 26(10): 2355-2362. (in Chinese) doi: 10.3788/OPE.20182610.2355 [14] 成桂梅, 刘涛, 荣鹏, 等. 多探测器数据控制与处理系统设计[J]. 红外与激光工程,2016,45(4):0420002. doi: 10.3788/irla201645.0420002CHENG G M, LIU T, RONG P, et al. Design of multi-detector data control and processing system[J]. Infrared and Laser Engineering, 2016, 45(4): 0420002. (in Chinese) doi: 10.3788/irla201645.0420002 [15] 王跃明, 韦丽清, 郎均慰, 等. 先进焦平面与光谱成像技术现状[J]. 光学与光电技术,2014,12(1):7-13. doi: 10.3969/j.issn.1672-3392.2014.01.002WANG Y M, WEI L Q, LANG J W, et al. Status of advanced focal plane arrays and spectral imaging technology[J]. Optics &Optoelectronic Technology, 2014, 12(1): 7-13. (in Chinese) doi: 10.3969/j.issn.1672-3392.2014.01.002 [16] SHARMA A M, DOGRA A, GOYAL B, et al. From pyramids to state-of-the-art: a study and comprehensive comparison of visible-infrared image fusion techniques[J]. IET Image Processing, 2020, 14(9): 1671-1689. doi: 10.1049/iet-ipr.2019.0322 [17] 杨福臻, 陈新华, 赵知诚, 等. 面向小行星探测的可见-红外光谱成像光学系统[J]. 光学学报,2020,40(7):0722002. doi: 10.3788/AOS202040.0722002YANG F ZH, CHEN X H, ZHAO ZH CH, et al. Visible-infrared imaging spectrometer for the exploration of asteroids[J]. Acta Optica Sinica, 2020, 40(7): 0722002. (in Chinese) doi: 10.3788/AOS202040.0722002 [18] 冯蕾, 魏立冬, 杨雷, 等. 双通道曲面棱镜高光谱成像系统设计[J]. 光学学报,2019,39(5):0511002. doi: 10.3788/AOS201939.0511002FENG L, WEI L D, YANG L, et al. Design of double-channel hyperspectral imaging system based on curved prism[J]. Acta Optica Sinica, 2019, 39(5): 0511002. (in Chinese) doi: 10.3788/AOS201939.0511002 [19] HE ZH P, WANG B Y, LV G, et al.. Visible and near-infrared imaging spectrometer (VNIS) for Chang'E-3[C]. Proceedings of SPIE 9263, Multispectral, Hyperspectral, and Ultraspectral Remote Sensing Technology, Techniques and Applications V, SPIE, 2014: 92630D. [20] 陈洋君, 吴志勇, 崔明, 等. 基于MAX9259/MAX9260的CameraLink图像数据光纤传输技术[J]. 中国光学,2018,11(6):1017-1023. doi: 10.3788/co.20181106.1017CHEN Y J, WU ZH Y, CUI M, et al. CameraLink image data fiber transmission technology based on MAX9259/MAX9260[J]. Chinese Optics, 2018, 11(6): 1017-1023. (in Chinese) doi: 10.3788/co.20181106.1017 期刊类型引用(6)
1. 吴阳,冯玉涛,韩斌,武俊强,孙剑. 长波红外差分干涉仪光栅低温安装结构设计与优化. 光学精密工程. 2024(02): 171-183 . 百度学术
2. 王晶,张卫国,贠平平,刘莹奇,金明鑫. 一种用于光电瞄准吊舱的自动校轴仪精度分析. 激光与红外. 2023(05): 744-751 . 百度学术
3. 张磊,李博,顾国超,王晓旭,李寒霜. AOTF与中阶梯光栅结合的小型化超光谱分辨率成像光谱仪. 光学学报. 2023(19): 257-264 . 百度学术
4. 张靖,张博,刘凯,王楷炀,冯树龙,李文昊,姚雪峰. 狭缝高度对单色仪光谱分辨率的影响. 中国光学(中英文). 2023(06): 1442-1449 . 百度学术
5. 余凯,郭琦,李娜,成驰,赵慧洁. 中红外AOTF成像仪光谱校准方法. 红外与激光工程. 2023(12): 165-173 . 百度学术
6. 徐泽夫,赵慧洁,贾国瑞. AOTF后楔角对光谱图像像质的影响. 红外与激光工程. 2022(07): 373-379 . 百度学术
其他类型引用(5)
-