留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于变形目镜和OLED的全景周视成像与显示技术

罗杰超 郭俊达 米凤文 裘溯 顿雄 金伟其

罗杰超, 郭俊达, 米凤文, 裘溯, 顿雄, 金伟其. 基于变形目镜和OLED的全景周视成像与显示技术[J]. 中国光学, 2020, 13(4): 752-759. doi: 10.37188/CO.2019-0214
引用本文: 罗杰超, 郭俊达, 米凤文, 裘溯, 顿雄, 金伟其. 基于变形目镜和OLED的全景周视成像与显示技术[J]. 中国光学, 2020, 13(4): 752-759. doi: 10.37188/CO.2019-0214
LUO Jie-chao, GUO Jun-da, MI Feng-wen, QIU Su, DUN Xiong, JIN Wei-qi. Panoramic peripheral vision imaging and display technology based on a deformation eyepiece and OLED[J]. Chinese Optics, 2020, 13(4): 752-759. doi: 10.37188/CO.2019-0214
Citation: LUO Jie-chao, GUO Jun-da, MI Feng-wen, QIU Su, DUN Xiong, JIN Wei-qi. Panoramic peripheral vision imaging and display technology based on a deformation eyepiece and OLED[J]. Chinese Optics, 2020, 13(4): 752-759. doi: 10.37188/CO.2019-0214

基于变形目镜和OLED的全景周视成像与显示技术

doi: 10.37188/CO.2019-0214
基金项目: 国家自然科学基金面上项目(No. 61871034);微光夜视技术重点实验室基金(No. J20160101)
详细信息
    作者简介:

    罗杰超(1995—),男,云南保山人,硕士研究生,2017年于北京理工大学获得学士学位,主要从事光电成像技术方面的研究。E-mail:853717524@qq.com

    米凤文(1968—) , 男,吉林长春人, 硕士生导师,主要从事微光与红外技术、光电检测技术和仪器方面的研究。E-mail: fwmi@bit.edu.cn

  • 中图分类号: TN27

Panoramic peripheral vision imaging and display technology based on a deformation eyepiece and OLED

Funds: Supported by Surface Project of National Natural Science Foundation of China (No. 61871034); Key Laboratory of Low-Light Level Night Vision Technology Foundation (No. J20160101)
More Information
  • 摘要: 在车载、舰载等运动载体或单兵警戒值守等狭窄空间,传统显示方法难以兼顾显示视场与显示分辨率。针对该问题,本文研究了一种基于变形目镜的全景/周视成像技术与系统。系统采用3路低照度摄像机+4 mm焦距镜头,构成150°左右的全景成像视场,基于FPGA处理平台完成全景图像解析、拼接、校正和显示等算法,实现视频图像大视场拼接与1/3缩放实时显示;由OLED微显示器、变形目镜组和大目镜组成的显示系统使视频图像横向扩大3倍,实时显示全景高分辨动态场景图像。实验系统对全景成像显示技术进行了验证,在军用和民用领域具有广泛的应用前景。
  • 图  1  全景周视成像与显示系统整体框图

    Figure  1.  Overall block diagram of panoramic peripheral vision imaging and display system

    图  2  凝视型全景视频图像采集系统

    Figure  2.  Gaze - type panoramic video image acquisition system

    图  3  OLED微显示器及其RGB像素滤光片阵列

    Figure  3.  OLED micro-display and its RGB pixel filter array

    图  4  OLED微显示器分辨率扩展示意图

    Figure  4.  Schematic diagram of resolution expansion of OLED microdisplay

    图  5  变形目镜光学系统整体结构示意图

    Figure  5.  Schematic diagram of the overall structure of anamorphic eyepiece optical system

    图  6  变形镜的柱面透镜和双胶合透镜

    Figure  6.  Cylindrical lens and doublet lens of deformable mirror

    图  7  全景图像采集模块

    Figure  7.  Panoramic image acquisition module

    图  8  双线性插值法原理图

    Figure  8.  Principle diagram of bilinear interpolation

    图  9  全景视频图像采集与显示实验系统

    Figure  9.  Experimental system of panoramic video image acquisition and display

    图  10  室内场景的全景图像显示效果

    Figure  10.  Panoramic image display of indoor scene

    图  11  室外场景的全景图像显示效果图

    Figure  11.  Panoramic image display of outdoor scene

  • [1] HUANG Q D, QIU Y H, TIAN X P. Image automatic mosaic method based on feature points and optimization theory[J]. Acta Photonica Sinica, 2009, 38(8): 2139-2143.
    [2] BENOSMAN R, KANG S B. Panoramic Vision[M]. New York: Springer, 2001.
    [3] HARA Z I, TERAZAKI N, SHIRAMATSU N, et al. Picture quality of different pixel arrangements for large-sized matrix displays[J]. Electronics and Communications in Japan (Part Ⅱ:Electronics), 1994, 77(7): 105-120. doi:  10.1002/ecjb.4420770711
    [4] 贺宇, 王岭雪, 蔡毅, 等. 折反射周视系统研究进展与展望[J]. 中国光学,2017,10(5):681-689. doi:  10.3788/co.20171005.0681

    HE Y, WANG L X, CAI Y, et al. Research progress and prospect of catadioptric panoramic system[J]. Chinese Optics, 2017, 10(5): 681-689. (in Chinese) doi:  10.3788/co.20171005.0681
    [5] 白剑, 牛爽, 杨国光, 等. 全景光学环带凝视成像技术[J]. 红外与激光工程,2006,35(3):331-335. doi:  10.3969/j.issn.1007-2276.2006.03.019

    BAI J, NIU SH, YANG G G, et al. Panoramic optical annular staring imaging technology[J]. Infrared and Laser Engineering, 2006, 35(3): 331-335. (in Chinese) doi:  10.3969/j.issn.1007-2276.2006.03.019
    [6] 徐海云, 王普, 王广生. 全景拼图的实现技术[J]. 北京工业大学学报,2004,30(4):417-422.

    XU H Y, WANG P, WANG G SH. Research on the realization techniques of panoramic image merging[J]. Journal of Beijing University of Technology, 2004, 30(4): 417-422. (in Chinese)
    [7] 冯俊, 严利民, 夏明治. 提高图像亮度的多基色子像素着色算法[J]. 光电子技术,2016,36(3):173-179.

    FENG J, YAN L M, XIA M ZH. A multi-primary sub-pixel rendering algorithm improving image brightness[J]. Optoelectronic Technology, 2016, 36(3): 173-179. (in Chinese)
    [8] 陈俊, 王青松. 基于OLED显示单元的红外上转换器件研究进展[J]. 中国光学,2015,8(1):17-27. doi:  10.3788/co.20150801.0017

    CHEN J, WANG Q S. Recent progress of infrared upconversion device based on the integration of OLED[J]. Chinese Optics, 2015, 8(1): 17-27. (in Chinese) doi:  10.3788/co.20150801.0017
    [9] 陈敏泽, 林韵英. OLED显示驱动技术新进展[J]. 电视技术,2013,37(S2):419-421.

    CHEN M Z, LIN Y Y. New development of OLED display driving technology[J]. Video Engineering, 2013, 37(S2): 419-421. (in Chinese)
    [10] 赖良德, 李晨, 许虞俊. 硅基OLED微显示器像素发光电流稳定性的研究[J]. 电子器件,2019,42(4):898-903. doi:  10.3969/j.issn.1005-9490.2019.04.017

    LAI L D, LI CH, XU Y J. Pixel circuit of OLED-on-silicon micro displays with high current stability[J]. Chinese Journal of Electron Devices, 2019, 42(4): 898-903. (in Chinese) doi:  10.3969/j.issn.1005-9490.2019.04.017
    [11] KEPLER R G, BEESON P M, JACOBS S J, et al. Electron and hole mobility in tris (8-hydroxyquinolinolato-N1, O8) aluminum[J]. Applied Physics Letters, 1995, 66(26): 3618-3620. doi:  10.1063/1.113806
    [12] 郭俊达, 金伟其, 顿雄, 等. 基于OLED微显示器和变形目镜的全景显示技术[J]. 中国光学,2018,11(4):684-693. doi:  10.3788/co.20181104.0684

    GUO J D, JIN W Q, DUN X, et al. Panoramic display technology based on OLED micro-display and anamorphic eyepiece[J]. Chinese Optics, 2018, 11(4): 684-693. (in Chinese) doi:  10.3788/co.20181104.0684
    [13] HOPKINS H H. Diffraction theory of laser read-out systems for optical video discs[J]. Journal of the Optical Society of America, 1979, 69(1): 4-24. doi:  10.1364/JOSA.69.000004
    [14] 李继军, 聂晓梦, 甄威, 等. 显示技术比较及新进展[J]. 液晶与显示,2018,33(1):74-84. doi:  10.3788/YJYXS20183301.0074

    LI J J, NIE X M, ZHEN W, et al. New developments and comparisons in display technology[J]. Chinese Journal of Liquid Crystals and Displays, 2018, 33(1): 74-84. (in Chinese) doi:  10.3788/YJYXS20183301.0074
    [15] 黄成强, 杨友昌, 贺娟, 等. 基于权重因子的RGB-RGBG像素结构转换算法及其FPGA实现[J]. 液晶与显示,2017,32(7):572-579. doi:  10.3788/YJYXS20173207.0572

    HUANG CH Q, YANG Y C, HE J, et al. RGB to RGBG conversion algorithm based on weighting factors and related FPGA realization[J]. Chinese Journal of Liquid Crystals and Displays, 2017, 32(7): 572-579. (in Chinese) doi:  10.3788/YJYXS20173207.0572
    [16] 张春燕, 陈文栋, 季渊, 等. 基于OLED微显示器的原子扫描控制器设计[J]. 液晶与显示,2019,34(4):395-401. doi:  10.3788/YJYXS20193404.0395

    ZHANG CH Y, CHEN W D, JI Y, et al. Design of atomic scan controller based on OLED microdisplay[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(4): 395-401. (in Chinese) doi:  10.3788/YJYXS20193404.0395
    [17] 倪婷, 丁磊, 王江南, 等. 基于激基复合物主体的高性能OLED器件[J]. 液晶与显示,2019,34(9):841-848. doi:  10.3788/YJYXS20193409.0841

    NI T, DING L, WANG J N, et al. OLED with high performance based on exciplex[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(9): 841-848. (in Chinese) doi:  10.3788/YJYXS20193409.0841
    [18] JIPSON V B, WILLIAMS C C. Two-dimensional modeling of an optical disk readout[J]. Applied Optics, 1983, 22(14): 2202-2209. doi:  10.1364/AO.22.002202
    [19] 王志坚, 郑建平. 光学系统及元件动态下物象共轭理论[J]. 长春光学精密机械学院学报,1992,15(2):1-13.

    WANG ZH J, ZHENG J P. The object–image conjugate theory of optical systems and optical elements in motion[J]. Journal of Changchun Institute of Optics and Fine Mechanics, 1992, 15(2): 1-13. (in Chinese)
    [20] 张建华, 刘超, 周哲海, 等. 基于柱透镜的单细胞照明系统的设计与实现[J]. 激光与红外,2016,46(6):722-726. doi:  10.3969/j.issn.1001-5078.2016.06.015

    ZHNAG J H, LIU CH, ZHOU ZH H, et al. Design and implementation of single-cell illumination system based on cylindrical lens[J]. Laser &Infrared, 2016, 46(6): 722-726. (in Chinese) doi:  10.3969/j.issn.1001-5078.2016.06.015
    [21] 关珊珊, 周洁敏. 基于Xilinx FPGA的SPI Flash控制器设计与验证[J]. 电子器件,2012,35(2):216-220. doi:  10.3969/j.issn.1005-9490.2012.02.023

    GUAN SH SH, ZHOU J M. Design and verification of SPI flash controller based on Xilinx FPGA[J]. Chinese Journal of Electron Devices, 2012, 35(2): 216-220. (in Chinese) doi:  10.3969/j.issn.1005-9490.2012.02.023
    [22] 马其琪, 鲍爱达. 基于DDR3 SDRAM的高速大容量数据缓存设计[J]. 计算机测量与控制,2015,23(9):3112-3113, 3118.

    MA Q Q, BAO A D. High speed and large capacity data buffer design based on DDR3 SDRAM[J]. Computer Measurement &Control, 2015, 23(9): 3112-3113, 3118. (in Chinese)
    [23] ZHOU R J, HAO Y Y, HU J S. Quick system-level DDR3 signal integrity simulation research[J]. Journal of Electronic Science and Technology, 2013, 11(3): 286-290.
    [24] LEE S S, HUANG L S, KIM C J, et al. Free-space fiber-optic switches based on MEMS vertical torsion mirrors[J]. Journal of Lightwave Technology, 1999, 17(1): 7-13. doi:  10.1109/50.737414
    [25] 马志超. DDR3控制器的设计与验证[D].西安: 西安电子科技大学, 2013.

    MA ZH CH. Design and verification of DDR3 controller[D]. Xi’an: Xidian University, 2013. (in Chinese)
    [26] 赵曙光. 可编程逻辑器件原理、开发与应用[M]. 西安: 西安电子科技大学出版社, 2000.

    ZHAO SH G. Principle, Development and Application of Programmable Logic Device[M]. Xi’an: Xidian University Press, 2000. (in Chinese)
    [27] 王贺, 张大宇, 汪悦, 等. 基于片上Loopback的FPGA DDR模块串行测试方法[J]. 计算机与数字工程,2019,47(1):24-28. doi:  10.3969/j.issn.1672-9722.2019.01.007

    WANG H, ZHANG D Y, WANG Y, et al. Serial test method of FPGA DDR module based on on-chip loopback[J]. Computer and Digital Engineering, 2019, 47(1): 24-28. (in Chinese) doi:  10.3969/j.issn.1672-9722.2019.01.007
    [28] BHASKER J. Verilog HDL综合实用教程[M]. 孙海平, 译. 北京: 清华大学出版社, 2004.

    BHASKER J. Verilog HDL Synthesis A Practical Primer[M]. SUN H P, trans. Beijing: Tsinghua University Press, 2004. (in Chinese)
    [29] XILINX Inc. Spartan-6 family overview[R]. US: Xilinx Inc, 2011.
    [30] WINBOND. W25Q128FV Datasheet[R]. Winbond, 2012.
    [31] 冯雁军, 周清海, 孙伟昶, 等. FPGA平台的实时全景视频系统设计[J]. 电子产品世界,2013,20(2):72-74.

    FENG Y J, ZHOU Q H, SUN W CH, et al. Design of real-time panoramic video system based on FPGA[J]. Electronic Engineering &Product World, 2013, 20(2): 72-74. (in Chinese)
  • [1] 刘欣, 叶芸, 唐谦, 郭太良.  有机发光二极管显示屏的喷墨打印研究与展望 . 中国光学, 2020, 13(2): 217-228. doi: 10.3788/CO.20201302.0217
    [2] 郭俊达, 金伟其, 顿雄, 裘溯, 李力.  基于OLED微显示器和变形目镜的全景显示技术 . 中国光学, 2018, 11(4): 684-693. doi: 10.3788/CO.20181104.0684
    [3] 陈月, 赵岩, 王世刚.  图像局部特征自适应的快速SIFT图像拼接方法 . 中国光学, 2016, 9(4): 415-422. doi: 10.3788/CO.20160904.0415
    [4] 董静, 万秋华, 于海, 卢新然.  小型绝对式光电编码器误码自动检测系统 . 中国光学, 2016, 9(6): 695-703. doi: 10.3788/CO.20160906.0695
    [5] 曾震湘, 郑华东, 卢小仟, 高洪跃, 于瀛洁.  空间光调制器曲面拼接实现全息三维显示视角拓展 . 中国光学, 2015, 8(2): 227-233. doi: 10.3788/CO.20150802.0227
    [6] 陈俊, 王青松.  基于OLED显示单元的红外上转换器件研究进展 . 中国光学, 2015, 8(1): 17-27. doi: 10.3788/CO.20150801.0017
    [7] 王新华, 黄玮, 欧阳继红.  多探测器拼接成像系统实时图像配准 . 中国光学, 2015, 8(2): 211-219. doi: 10.3788/CO.20150802.0211
    [8] 王新华, 王晓坤.  十亿像素瞬态成像系统实时图像拼接 . 中国光学, 2015, 8(5): 785-793.
    [9] 王新华, 王晓坤.  十亿像素瞬态成像系统实时图像拼接 . 中国光学, 2015, 8(5): 785-793. doi: 10.3788/CO.20150805.0785
    [10] 徐明飞, 黄玮.  基于同心球透镜的四镜头探测器阵列拼接成像系统 . 中国光学, 2014, 7(6): 936-941. doi: 10.3788/CO.20140706.0936
    [11] 史光辉, 杨威.  用于图像拼接的电视摄像光学系统 . 中国光学, 2014, 7(4): 638-643. doi: 10.3788/CO.20140704.0638
    [12] 王旭, 王挺峰, 王弟男, 王化龙.  无线光链路快速同步技术 . 中国光学, 2014, 7(2): 245-252. doi: 10.3788/CO.20140702.0245
    [13] 陈莹, 朱明.  多子直方图均衡微光图像增强及FPGA实现 . 中国光学, 2014, 7(2): 225-233. doi: 10.3788/CO.20140702.0225
    [14] 潘年, 马文礼.  拼接式钢带光栅编码器测角误差分析与修正 . 中国光学, 2013, 6(5): 788-794. doi: 10.3788/CO.20130605.0788
    [15] 赵星, 王芳, 杨勇, 方志良, 袁小聪.  集成成像三维显示系统显示性能的研究进展 . 中国光学, 2012, 5(3): 209-221. doi: 10.3788/CO.20120503.0209
    [16] 管目强, 李岩, 黄梅, 王鹤淇.  基于FPGA的红外图像仿真注入系统 . 中国光学, 2011, 4(3): 277-282.
    [17] 刘 杰, 陈 涛, 王建立, 董 磊.  无线激光通信在高速视频传输中的应用 . 中国光学, 2010, 3(3): 290-295.
    [18] CHENG Yu.  显示技术的演进与应用 . 中国光学, 2010, 3(1): 27-32.
    [19] 于洪涛, 丁铁夫, 郑喜凤, 李爽, 尹柱霞.  基于FPGA的千兆以太网光纤转换器的设计 . 中国光学, 2009, 2(4): 352-357.
    [20] 王德俊, 王建立, 阴玉梅, 王鸣浩.  基于FPGA的近红外实时透雾成像方法 . 中国光学, 2009, 2(5): 445-451.
  • 加载中
图(11)
计量
  • 文章访问数:  316
  • HTML全文浏览量:  183
  • PDF下载量:  34
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-11-06
  • 修回日期:  2019-12-09
  • 网络出版日期:  2020-06-29
  • 刊出日期:  2020-08-01

基于变形目镜和OLED的全景周视成像与显示技术

doi: 10.37188/CO.2019-0214
    基金项目:  国家自然科学基金面上项目(No. 61871034);微光夜视技术重点实验室基金(No. J20160101)
    作者简介:

    罗杰超(1995—),男,云南保山人,硕士研究生,2017年于北京理工大学获得学士学位,主要从事光电成像技术方面的研究。E-mail:853717524@qq.com

    米凤文(1968—) , 男,吉林长春人, 硕士生导师,主要从事微光与红外技术、光电检测技术和仪器方面的研究。E-mail: fwmi@bit.edu.cn

  • 中图分类号: TN27

摘要: 在车载、舰载等运动载体或单兵警戒值守等狭窄空间,传统显示方法难以兼顾显示视场与显示分辨率。针对该问题,本文研究了一种基于变形目镜的全景/周视成像技术与系统。系统采用3路低照度摄像机+4 mm焦距镜头,构成150°左右的全景成像视场,基于FPGA处理平台完成全景图像解析、拼接、校正和显示等算法,实现视频图像大视场拼接与1/3缩放实时显示;由OLED微显示器、变形目镜组和大目镜组成的显示系统使视频图像横向扩大3倍,实时显示全景高分辨动态场景图像。实验系统对全景成像显示技术进行了验证,在军用和民用领域具有广泛的应用前景。

English Abstract

罗杰超, 郭俊达, 米凤文, 裘溯, 顿雄, 金伟其. 基于变形目镜和OLED的全景周视成像与显示技术[J]. 中国光学, 2020, 13(4): 752-759. doi: 10.37188/CO.2019-0214
引用本文: 罗杰超, 郭俊达, 米凤文, 裘溯, 顿雄, 金伟其. 基于变形目镜和OLED的全景周视成像与显示技术[J]. 中国光学, 2020, 13(4): 752-759. doi: 10.37188/CO.2019-0214
LUO Jie-chao, GUO Jun-da, MI Feng-wen, QIU Su, DUN Xiong, JIN Wei-qi. Panoramic peripheral vision imaging and display technology based on a deformation eyepiece and OLED[J]. Chinese Optics, 2020, 13(4): 752-759. doi: 10.37188/CO.2019-0214
Citation: LUO Jie-chao, GUO Jun-da, MI Feng-wen, QIU Su, DUN Xiong, JIN Wei-qi. Panoramic peripheral vision imaging and display technology based on a deformation eyepiece and OLED[J]. Chinese Optics, 2020, 13(4): 752-759. doi: 10.37188/CO.2019-0214
    • 视频图像显示是光电图像信息获取过程的重要环节[1-3]。随着视频成像技术的发展,对于成像视场的要求也越来越高。目前周视的实现方式主要分为单视系统和多视系统两类:单视系统的代表主要是鱼眼成像系统、全景环形透镜成像系统和折反射透镜成像系统等;多视系统则以多摄像头成像为主要代表。其中单视系统难以兼顾视场和分辨率,而多视系统需要解决拼接缝隙的问题[4-5]。传统的光电成像系统的视场以及分辨率难以满足特定的需求,在增大视场与提高分辨率之间存在矛盾,无法同时满足大视场与高分辨率的要求。近年来,车载、舰载等运动载体或单兵警戒值守等诸多空间狭窄、视野受限场合对全景成像显示需求日趋迫切,虽然采用传统的凝视全景成像系统可解决全景成像问题,但在路面起伏较大的运动平台上,显示屏很难与人眼之间保持相对平稳,易造成观察者视觉疲劳甚至出现眩晕、恶心等不适。因此,新型全天候全景或周视高分辨成像与显示技术成为重要的发展方向。

      本文提出一种基于变形目镜的全景/周视成像方案,在实现全景成像的同时具有较高的分辨率,解决了二者之间的矛盾。在此基础上,研制并验证实验系统。

    • 全景周视成像与显示系统由三路全景视频图像采集模块、FPGA (Field Programmable Gate Array) 图像处理模块、全景OLED (Organic Light-Emitting Diode) 微显示器和变形目镜模块以及图像显示光学模块4大部分组成,如图1所示。其中,全景图像视频采集部分采用3个模拟低照度摄像机(或非制冷热成像相机)在半圆周基座上呈50°夹角水平放置,完成场景的全景视频图像的同步采集,并输入至FPGA图像处理模块;FPGA图像处理模块对接收的3路模拟视频信号进行模数转换,经过平移、缩放和畸变校正等预处理后,3路数字化视频流图像被拼接成一幅全景数字视频流图像,并重新编码为一路数字视频流,输入到800 pixel×600 pixel的OLED全景微显示器上;全景OLED微显示器对接收到的视频流进行显示,呈现的是水平方向3倍压缩的全景图像;最后,变形目镜系统将OLED显示的压缩视频图像还原为正常的全景视频图像,保证人眼全像素地获得场景的全景动态图像。

      图  1  全景周视成像与显示系统整体框图

      Figure 1.  Overall block diagram of panoramic peripheral vision imaging and display system

    • 为同时固定3个摄像机,设计了一个由硬铝材料制成的圆弧底板,底板滑槽可使得3个相机的夹角在50°到60°之间可调节,搭建的凝视型全景成像系统如图2所示。摄像机采用基于昆山锐芯微电子公司CIS0431芯片的低照度CMOS相机I2020(像素规模为752 pixel×582 pixel,像元尺寸为8.60 μm×8.30 μm, 帧频为25 Hz 动态范围为69 dB,模拟输出为PAL,数字输出为ITU-R BT.601/656标准),体积约为33 mm×33 mm×32.5 mm,3 mm×32.5 mm,能在10−2 lx的低照度环境下清晰连续成像[6-7]。采用4 mm焦距的物镜,使得单摄像机具有约90°的水平视场。

      图  2  凝视型全景视频图像采集系统

      Figure 2.  Gaze - type panoramic video image acquisition system

    • 本文选用北方奥雷德公司的OLED微显示器设计全景微显示器,其为SVGA (Super Video Graphic Array) (800×600)和SXGA (Super Extended Graphics Array) (1 280×1 024) 两种分辨率模式,尺寸为0.97英寸,通过不同信号驱动板可以实现标准模拟/数字视频图像显示[8-12]图3(彩图见期刊电子版)给出了彩色OLED微显示器及其RGB像素彩色滤光片阵列的结构示意图,其子像素排列方式采用标准RGB排列,单个显示像素是由水平排列的3个高宽比约为3∶1的分别覆盖RGB三基色彩色滤光片阵列的子像素构成,每个像素的宽度W与高度H基本相当,故子像素呈长方形结构。通过RGB三基色子像素的空间混色可实现彩色图像显示。对于单色图像的显示,既可采用彩色OLED微显示器按照R=B=G的驱动模式进行显示,也可通过不带彩色滤光片阵列的微显示器灰度图像实现,合成像素的亮度将是3个子像素的亮度之和,从而使微显示器具有更大的亮度范围[13-17]

      图  3  OLED微显示器及其RGB像素滤光片阵列

      Figure 3.  OLED micro-display and its RGB pixel filter array

      OLED微显示器的RGB排列为将其转化为高分辨黑白全景微显示器奠定了技术基础。通过去除SVGA(800×600)彩色OLED微显示器的彩色滤光片阵列,并以每一个RGB子像素作为一个独立显示像素,可将常规的OLED微显示器转变为2400 pixel×600 pixel的黑白全景OLED微显示器(如图4所示)。这样处理虽然会损失OLED微显示器的色彩特性,但红外和微光夜视条件下的宽视场高分辨全景图像更强调宽视场高分辨场景图像的显示,对彩色显示没有要求或要求很少。

      图  4  OLED微显示器分辨率扩展示意图

      Figure 4.  Schematic diagram of resolution expansion of OLED microdisplay

    • 由于OLED显示的全景图像的纵横比为原来的1/3,为适应人眼观察,需设计变形目镜系统对压缩图像进行还原。

      虽然针对性地设计和制作变形目镜是最佳的方案,但作为技术途径的验证以及应用背景的引导,选用了现成的车载夜视系统的大目镜+变形镜的方案,系统结构示意图如图5所示。其中大目镜放大倍率约为5.6倍,出瞳直径约为75 mm,出瞳距离为50 mm,分辨力大于30 lp/mm,为微光像增强屏的图像提供显示[18-21]

      图  5  变形目镜光学系统整体结构示意图

      Figure 5.  Schematic diagram of the overall structure of anamorphic eyepiece optical system

      图  6  变形镜的柱面透镜和双胶合透镜

      Figure 6.  Cylindrical lens and doublet lens of deformable mirror

      最终变形成像透镜组的光学总长为249.3 mm,视场为10.13 mm×7.61 mm,与OLED微显示器有效显示区域尺寸一致,工作波段为400~700 nm。

    • 全景图像的获取由安装在圆弧支架水平布局且同步控制的3个低照度工业摄像机实现,如图7所示。各摄像机的成像视场为φh,摄像机光轴沿圆弧支架径向向外,且相邻摄像机光轴的夹角 Ω与摄像机水平视场(φhδ)一致(δ 为重叠视场)。

      图  7  全景图像采集模块

      Figure 7.  Panoramic image acquisition module

      凝视型全景视频图像采集系统通过3个摄像机采集到3幅720 pixel×576 pixel的视频图像。根据重叠视场角δ与摄像机视场角φh的比例关系,计算出相应的非像素重叠区域S为:

      $$S=720 \times 576 \times \left( 1-\dfrac{\sigma }{{{\varphi }_{h}}} \right).$$ (1)
    • 系统的全景图像拼接处理功能主要是以图像校正算法、基于双线性插值法的图像缩放算法以及图像平移相关算法为基础,结合全景成像的图像拼接以及FPGA硬件处理平台特点进行优化,将3幅视频图像拼接为1幅全景数字图像,并按照OLED微显示器的像素灰度驱动重新编码,驱动OLED显示器进行全景图像显示。由于充分考虑了图像特征,使得处理过程避免了大规模的运算,同时保证拼接的有效性。

      FPGA处理平台基于Xilinx公司Spartan-6系列XC6SLX45芯片,具有6822个Slice,58个DSP 48A1 Slice,401 KB分布式RAM及2088 KB块 RAM,最大用户I/O为358个,满足设计需求[22-26]。FPGA处理平台是系统核心,在其上不仅实现了全景视频图像采集与拼接处理算法的实时处理,而且将全景视频图像采集系统与全景视频显示系统连接为一个统一的全景成像与显示系统[27-31]

      显示系统采用的是800×600彩色OLED微显示器,其得到的视频信号远大于可以显示的有效值,同时视频图像在摄像机成像过程中存在畸变。因此,先对图像进行畸变校正和图像缩放处理。

      对图像进行畸变校正操作,畸变模型为:

      $$\left\{ \begin{aligned} & {x_0} = x(1 + {k_1}{r^2} + {k_2}{r^4}) \\ & {y_0} = y(1 + {k_1}{r^2} + {k_2}{r^4}) \end{aligned} \right.,$$ (2)

      其中,k1k2表示的是径向畸变参数,($ {x}_{0} $,$ {y}_{0} $)是原始图像位置,($ x $,$ y $)是处理后的位置,$ {r}^{2} $=$ {x}^{2} $+$ {y}^{2} $

      利用MATLAB标定工具Camera Calibrator 来完成整个标定过程。这种标定工具是基于张正友先生提出的标定方法进行标定的,可得到对应的参数值,如本次标定得到的径向畸变参数$ {k}_{1} $,$ {k}_{2} $为[−0.4966,0.2606]。将参数值代入FPGA校正部分,可得到畸变与非畸变对应点的坐标值。

      然后,根据双线性插值法计算得到每一个坐标点校正后的像素值,图8(彩图见期刊电子版)是双线性插值法原理图。

      图  8  双线性插值法原理图

      Figure 8.  Principle diagram of bilinear interpolation

      假设p (x, y)为未知函数f中一个点,为了得到P (x, y)的值,假设已知$ {Q}_{11} $($ {x}_{1} $,$ {y}_{1} $)、$ {Q}_{12} $($ {x}_{1} $,$ {y}_{2} $)、$ {Q}_{21} $($ {x}_{2} $,$ {y}_{1} $)、$ {Q}_{22} $($ {x}_{2} $,$ {y}_{2} $)4个点的函数值,首先在 x 方向进行线性插值,得到:

      $$\left\{ \begin{aligned} & f\left( {{P_1}} \right) = \dfrac{{{x_2} - x}}{{{x_2} - {x_1}}}f\left( {{Q_{11}}} \right) + \dfrac{{x - {x_1}}}{{{x_2} - {x_1}}}f\left( {{Q_{21}}} \right) \\ & f\left( {{P_2}} \right) = \dfrac{{{x_2} - x}}{{{x_2} - {x_1}}}f\left( {{Q_{12}}} \right) + \dfrac{{x - {x_1}}}{{{x_2} - {x_1}}}f\left( {{Q_{22}}} \right) \end{aligned} \right.\;\;.$$ (3)

      算出P1点和P2点的函数值,接着,在y方向对二者进行线性插值。得到:

      $$f\left( P \right) = \dfrac{{{y_2} - y}}{{{y_2} - {y_1}}}f\left( {{P_1}} \right) + \dfrac{{y - {y_1}}}{{{y_2} - {y_1}}}f\left( {{P_2}} \right).$$ (4)

      将720 pixel×576 pixel大小的3幅畸变图像分别存储在DDR3中。对畸变图像像素坐标取整,假设得到的一个像素坐标为(u, v),则其他3个坐标分别为(u+1, v),(u, v+1),(u+1, v+1)。根据坐标与DDR3的存储关系就能得到想要的4个像素坐标在DDR3中的存储地址,进而得到对应的灰度值。最后,根据双线性插值法计算得到校正后图像每一个像素点的像素值。

      由于OLED显示屏的分辨率为800 pixel×600 pixel,为了在OLED显示屏上完全成像,需要将得到的视频图像在水平方向上缩小为原来的1/3,使得整个全景图像都能成像到OLED显示屏上。图像缩放同样是基于双线性插值法来完成的。该算法至少需要两行数据才能开始计算。在图像缩放之前,原始的视频图像存储于DDR3中,用读写异步的FIFO来缓存视频数据。根据需要,用两组8比特宽度和1024深度的RAM来存储亮度数据,两个8比特位宽,深度为512的RAM存放色差数据。

      图像处理完成之后,需要将有效图像数据按顺序输出。由于OLED显示的是RGB视频信号,因此需将信号从YCbCr42视频信号转换为RGB视频信号,然后通过alpha算法根据重叠区域的大小与位置,将有效的视频信号输出显示于OLED显示屏。

    • 研制的全景成像与显示实验系统如图9所示。由于是90°视场的三路视频图像拼接,重叠区域设定为40°(可进一步减小,因为要研究拼接算法,故选择了较大的重叠区域)。全景成像的视场角约为150°×67°,保持了约2160 pixel× 576 pixel的全景高分辨像素图像显示,实现了凝视型全景成像和显示。

      图  9  全景视频图像采集与显示实验系统

      Figure 9.  Experimental system of panoramic video image acquisition and display

      图10图11分别给出了1组室内和室外的场景图像。其中包括了3路摄像机输出图像、OELD微显示器上压缩的全景图像和经过变形目镜显示的全景图像。

      实验表明:本文系统和处理算法有效实现了图像的拼接,实现了动态全景场景的视频采集和显示,是一种可兼顾视场与分辨率的实用全景成像和显示模式。

      为了实现技术的实用化,除需进行实用化设计外,目前系统尚存在一些有待改进之处:

      (1)在两幅图像相交的地方存在一定的上下起伏,这主要由采集系统本身存在的误差及实验采集时的误差所引起。理论上来说,如果能使采集系统中的3个视频摄像头保持在同一水平线上就能使二者重合;

      (2)由于没有对不同摄像机的亮度进行标定,因此在视场接缝处存在一定的亮度差异,从而形成分割线,进一步加入亮度校正后可以解决此问题;

      (3)目前系统实现了150°大视场显示,进一步减小视场重叠区域以及选择不同焦距物镜或摄像机数,可进行更大(如大于180°)或更小视场的系统设计;

      (4)采用6个低照度摄像机或非制冷红外相机以及1280×1024的OLED微显示器可进一步实现凝视周视成像。其是在本文的设计基础上进行拓展实现的,不过会增加采集与图像处理部分的计算,实现较为困难。

      (5)将目镜和变形镜进行一体化设计可实现性能更佳、结构更为紧凑的小型化全景周视显示系统。

      图  10  室内场景的全景图像显示效果

      Figure 10.  Panoramic image display of indoor scene

      图  11  室外场景的全景图像显示效果图

      Figure 11.  Panoramic image display of outdoor scene

    • 全景成像在诸多领域都有迫切的应用需求,但传统成像与显示系统之间存在视场与分辨率不可兼顾的问题,同时观测空间狭小和观察环境的动态变化也造成了诸多的不便。本文研究了一种基于变形目镜和OLED的全景周视成像与显示技术,搭建了研制实验系统。实验表明其在一定程度上对缓解视场与分辨率的矛盾具有意义,适合在狭小空间实现全景或周视场景的高分辨观察。该技术在反恐条件下的“透明装甲”技术、要地警戒、凝视型潜艇潜望观察等方面具有潜在的应用前景。

参考文献 (31)

目录

    /

    返回文章
    返回