留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

应用于红外眼科疾病检测的瞳孔定位算法

蔡怀宇 史玉 娄世良 汪毅 陈文光 陈晓冬

蔡怀宇, 史玉, 娄世良, 汪毅, 陈文光, 陈晓冬. 应用于红外眼科疾病检测的瞳孔定位算法[J]. 中国光学. doi: 10.37188/CO.2020-0170
引用本文: 蔡怀宇, 史玉, 娄世良, 汪毅, 陈文光, 陈晓冬. 应用于红外眼科疾病检测的瞳孔定位算法[J]. 中国光学. doi: 10.37188/CO.2020-0170
CAI Huai-yu, SHI Yu, LOU Shi-liang, WANG Yi, CHEN Wen-guang, CHEN Xiao-dong. Pupil location algorithm applied to infrared ophthalmic disease detection[J]. Chinese Optics. doi: 10.37188/CO.2020-0170
Citation: CAI Huai-yu, SHI Yu, LOU Shi-liang, WANG Yi, CHEN Wen-guang, CHEN Xiao-dong. Pupil location algorithm applied to infrared ophthalmic disease detection[J]. Chinese Optics. doi: 10.37188/CO.2020-0170

应用于红外眼科疾病检测的瞳孔定位算法

doi: 10.37188/CO.2020-0170
基金项目: 国家重点研发计划(No. 2017YFC0109901);天津市自然科学基金项目(No. 15JCQNJC14200)
详细信息
    作者简介:

    蔡怀宇(1965—),女,湖南涟源人,博士,教授,硕士生导师,1991年、2000年于天津大学分别获得硕士、博士学位,主要从事信息光学、光电技术及仪器和图像处理等方面的研究。E-mai:hycai@tju.edu.cn

    史 玉 (1997—),女,山西吕梁人,天津大学精密仪器与光电工程技术学院硕士研究生,2019年于湖北大学获得学士学位,主要从事光学相干层析成像方面的研究。E-mail:yushi_821@tju.edu.cn

    通讯作者: 史玉
  • 中图分类号: TP391;TN247

Pupil location algorithm applied to infrared ophthalmic disease detection

Funds: Supported by National Key R&D Program of China (No. 2017YFC0109901); Natural Science Foundation Project of Tianjin (No. 15JCQNJC14200)
More Information
  • 摘要: 为了实现眼科疾病检测中对被检测者快速、准确、自动化的瞳孔定位,提出一种基于径向对称变换的瞳孔中心点定位算法。首先利用灰度积分投影法结合最大类间方差法,完成对人眼图像的粗分割,并根据多团块筛选条件提取出只包含瞳孔的感兴趣区域(region of interest,ROI)。然后采用对ROI做最小外接矩形结合灰度级形态学线性滤波的方法,完成搜索半径范围的设置。最后,基于改进的径向对称变换算法进行瞳孔中心点定位。实验结果表明:本文算法的定位误差在8 pixel以内,平均定位时间为0.366 s,能够适应人眼图像中噪声干扰、采集不完整等大量非理性状态,满足多种红外眼科疾病检测设备对瞳孔定位算法的要求。
  • 图  1  算法总流程图

    Figure  1.  Flow chart of the improved pupil location algorithm

    图  2  人眼图像ROI分割示意图(a)竖直投影曲线对照图(b)水平投影曲线对照图(c)粗分割图像(d)二值化图像

    Figure  2.  Schematic diagram of ROI segmentation of a human eye image (a) Vertical projection curve contrast diagram (b) Horizontal projection curve contrast diagram (c) Coarse segmentation image (d) Binary image

    图  3  受睫毛遮挡的ROI提取示意图(a)样本1图像(b)样本1二值化图像(c)样本1ROI图像(d)样本2图像 (e)样本2二值化图像(f)样本2ROI图像,图像源于数据库CASIA-IrisV4

    Figure  3.  schematic diagram of ROI extraction obscured by eyelashes (a) Image of sample 1 (b) binarization image of sample 1 (c) ROI image of the sample 1 (d) Image of sample 2 (e) Binarization image of sample 2 (f) ROI image of sample 2, Images are derived from the CASIA-IrisV4 database

    图  4  结合灰度级形态学滤波的ROI提取示意图(a)线性结构元素(b)样本1ROI图像(c)样本2ROI图像

    Figure  4.  schematic diagram of ROI extraction combined with grayscale morphological filtering(a)Linear structural element(b) ROI image of sample 1(c) ROI imageof sample 2

    图  5  ROI的最小外接矩形示意图

    Figure  5.  Schematic diagram of a minimum circumscribed rectangle of the ROI

    图  6  瞳孔定位结果图(a)−(d)人眼图像(e)−(h)定位结果

    Figure  6.  Pupil positioning results (a)−(d) Image of human eye (e)−(h) Localization result.

    图  7  不完整瞳孔区域图像的定位结果图(a)−(d)人眼图像 (e)−(h)定位结果

    Figure  7.  Incomplete pupil area image positioning result (a)−(d) Image of human eye (e)−(h) Localization result.

    图  8  三种定位算法结果对比(a)−(d)本文算法(e)−(h)传统径向对称变换算法(i)−(l)基于梯度均值的定位算法

    Figure  8.  Comparison of the results of the three location algorithms (a)−(d) Algorithm in this paper (e)−(h) Traditional radial symmetry transformation algorithm (i)−(l) Location algorithm based on gradient mean

    图  9  三种算法定位结果对比图(a)−(d)本文算法(e)−(h)传统径向对称变换算法(i)−(l)基于梯度均值的定位算法

    Figure  9.  Comparison of the results of the three location algorithms (a)−(d) The algorithm in this paper (e)−(h) The traditional radial symmetry transformation algorithm (i)−(l) The location algorithm based on gradient means

    表  1  三种算法的精确度和实时性比较

    Table  1.   Comparison of the accuracy and real-time performance of the three algorithms

    定位方法定位误差/pixel定位时间/s
    本文算法6.3180.366
    传统径向对称变换算法103.6814.610
    基于梯度均值的定位算法7.24210.923
    下载: 导出CSV

    表  2  三种算法适用性比较

    Table  2.   Comparison of the applicability of the three algorithms

    定位方法定位准确率/%定位时间/s
    本文方法980.053
    传统径向对称变换算法811.093
    基于梯度均值的定位算法938.583
    下载: 导出CSV
  • [1] FLAXMAN S R, BOURNE R R A, RESNIKOFF S, et al. Global causes of blindness and distance vision impairment 1990-2020: a systematic review and meta-analysis[J]. The Lancet Global Health, 2017, 5(12): e1221-e1234. doi:  10.1016/S2214-109X(17)30393-5
    [2] 蔡怀宇, 张玮茜, 韩晓艳, 等. 眼轴及眼前节SS-OCT一体化成像系统[J]. 红外与激光工程,2020,49(4):0413006. doi:  10.3788/IRLA202049.0413006

    CAI H Y, ZHANG W Q, HAN X Y, et al. Integrated imaging system of eye axis and anterior segment based on SS-OCT[J]. Infrared and Laser Engineering, 2020, 49(4): 0413006. (in Chinese) doi:  10.3788/IRLA202049.0413006
    [3] 刘珊珊, 汪毅, 张玮茜, 等. 基于SS-OCT的大范围眼轴长度测量系统[J]. 光子学报,2019,48(5):512002. doi:  10.3788/gzxb20194805.0512002

    LIU SH SH, WANG Y, ZHANG W Q, et al. Large-scale axial length measuring system based on SS-OCT[J]. Acta Photonica Sinica, 2019, 48(5): 512002. (in Chinese) doi:  10.3788/gzxb20194805.0512002
    [4] UZUN S, PEHLIVAN E. Evaluation of the macular choroidal thickness using spectral optical coherence tomography in pseudoexfoliation glaucoma[J]. Journal of Glaucoma, 2017, 26(3): e127-e128.
    [5] WANG SH Z, JIN K, LU H T, et al. Human visual system-based fundus image quality assessment of portable fundus camera photographs[J]. IEEE Transactions on Medical Imaging, 2016, 35(4): 1046-1055. doi:  10.1109/TMI.2015.2506902
    [6] ZAPATA M A, ARCOS G, FONOLLOSA A, et al. Telemedicine for a general screening of retinal disease using nonmydriatic fundus cameras in optometry centers: three-year results[J]. Telemedicine Journal and E-Health:the Official Journal of the American Telemedicine Association, 2017, 23(1): 30-36.
    [7] 王晶, 高峰, 李婉越, 等. 瞳孔中心点自动定位与对准装置[J]. 光学 精密工程,2019,27(6):1370-1377. doi:  10.3788/OPE.20192706.1370

    WANG J, GAO F, LI W Y, et al. Device for automatic pupil center location and alignment[J]. Optics and Precision Engineering, 2019, 27(6): 1370-1377. (in Chinese) doi:  10.3788/OPE.20192706.1370
    [8] 常胜江, 孟春宁, 韩建民, 等. 人眼检测技术研究进展[J]. 数据采集与处理,2015,30(6):1131-1146.

    CHANG SH J, MENG CH N, HAN J M, et al. Survey of eye detection[J]. Journal of Data Acquisition &Processing, 2015, 30(6): 1131-1146. (in Chinese)
    [9] LIU P ZH, GUO J M, TSENG S H, et al. Ocular recognition for blinking eyes[J]. IEEE Transactions on Image Processing, 2017, 26(10): 5070-5081. doi:  10.1109/TIP.2017.2713041
    [10] WU Y L, YEH C T, HUNG W C, et al. Gaze direction estimation using support vector machine with active appearance model[J]. Multimedia Tools and Applications, 2014, 70(3): 2037-2062. doi:  10.1007/s11042-012-1220-z
    [11] 田耘, 甄雯, 赵海军. 基于改进的SIFT算子和SVM分类器的瞳孔中心定位[J]. 液晶与显示,2017,32(6):499-505. doi:  10.3788/YJYXS20173206.0499

    TIAN Y, ZHEN W, ZHAO H J. Accurate pupil center location with SIFT descriptor and SVM classifier[J]. Chinese Journal of Liquid Crystals and Displays, 2017, 32(6): 499-505. (in Chinese) doi:  10.3788/YJYXS20173206.0499
    [12] MENG CH N, ZHAO X P. Webcam-based eye movement analysis using CNN[J]. IEEE Access, 2017, 5: 19581-19587. doi:  10.1109/ACCESS.2017.2754299
    [13] KRUTHIVENTI S S S, AYUSH K, BABU R V. DeepFix: a fully convolutional neural network for predicting human eye fixations[J]. IEEE Transactions on Image Processing, 2017, 26(9): 4446-4456. doi:  10.1109/TIP.2017.2710620
    [14] ZHANG X C, SUGANO Y, FRITZ M, et al.. Appearance-based gaze estimation in the wild[C]. 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2015: 4511-4520.
    [15] 杨定礼, 张宇林, 周红标, 等. 人眼定位与AdaBoost Gabor滤波的人脸检测算法[J]. 计算机应用研究,2014,31(7):2201-2204. doi:  10.3969/j.issn.1001-3695.2014.07.068

    YANG D L, ZHANG Y L, ZHOU H B, et al. Face detection based on eye location and AdaBoost Gabor filter[J]. Application Research of Computers, 2014, 31(7): 2201-2204. (in Chinese) doi:  10.3969/j.issn.1001-3695.2014.07.068
    [16] WU T H, WANG P, YIN SH N, et al. A dynamical systems novel approach for accurate human eyes location[J]. Journal of Difference Equations and Applications, 2017, 23(1-2): 401-415. doi:  10.1080/10236198.2016.1238469
    [17] SHIDNEKOPPA R A, KAMMAR M, SHREEDHAR K S. Liveness detection based on eye flicker[C]. Proceedings of the 3rd International Conference on Cognitive Computing and Information Processing, Springer, 2018: 71-80.
    [18] VRÂNCEANU R, FLOREA C, FLOREA L, et al. Gaze direction estimation by component separation for recognition of Eye Accessing Cues[J]. Machine Vision and Applications, 2015, 26(2-3): 267-278. doi:  10.1007/s00138-014-0656-8
    [19] 孟春宁, 白晋军, 张太宁, 等. 基于梯度积分投影和最大期望算法的人眼定位[J]. 光电子·激光,2012,23(10):1971-1976.

    MENG CH N, BAI J J, ZHANG T N, et al. Eye localization based on gradient integral projection and expectation-maximization algorithm[J]. Journal of Optoelectronics·Laser, 2012, 23(10): 1971-1976. (in Chinese)
    [20] CHEN M H, WEN J, ZHU Y, et al.. Multi-level thresholding for pupil location in eye-gaze tracking systerm[C]. 2016 International Conference on Machine Learning and Cybernetics (ICMLC), IEEE, 2016: 1009-1014.
    [21] 张宏薇, 王仕洋, 李宪龙, 等. 基于Hough变换的瞳孔识别方法研究与实现[J]. 液晶与显示,2016,31(6):621-625. doi:  10.3788/YJYXS20163106.0621

    ZHANG H W, WANG SH Y, LI X L, et al. Research and implementation of pupil recognition based on Hough transform[J]. Chinese Journal of Liquid Crystals and Displays, 2016, 31(6): 621-625. (in Chinese) doi:  10.3788/YJYXS20163106.0621
    [22] ZHAO ZH Q, ZHANG Y, ZHENG Q L. Fast localization algorithm of eye centers based on improved hough transform[C]. 2019 IEEE 7th International Conference on Bioinformatics and Computational Biology (ICBCB), IEEE, 2019: 185-189.
    [23] SUSITHA N, SUBBAN R. Reliable pupil detection and iris segmentation algorithm based on SPS[J]. Cognitive Systems Research, 2019, 57: 78-84. doi:  10.1016/j.cogsys.2018.09.029
    [24] SHANG L, ZHANG C, WU H ZH. Eye focus detection based on OpenCV[C]. 2019 6th International Conference on Systems and Informatics (ICSAI), IEEE, 2019: 855-858.
    [25] LOY G, ZELINSKY A. Fast radial symmetry for detecting points of interest[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(8): 959-973. doi:  10.1109/TPAMI.2003.1217601
    [26] YAN B, LI J H, LIU SH, et al.. A robust algorithm for pupil center detection[C]. 2011 6th IEEE Conference on Industrial Electronics and Applications, IEEE, 2011: 413-417.
    [27] JEONG M, NAM J Y, KO B C. Eye pupil detection system using an ensemble of regression forest and fast radial symmetry transform with a near infrared camera[J]. Infrared Physics &Technology, 2017, 85: 44-51.
    [28] POULOPOULOS N, PSARAKIS E Z. A new high precision eye center localization technique[C]. 2007 IEEE International Conference on Image Processing (ICIP), IEEE, 2017: 2806-2810.
    [29] 赵彦涛, 聂向荣, 罗军, 等. 基于选择性阈值取反和径向对称的瞳孔中心定位[J]. 光电子·激光,2016,27(11):1208-1213.

    ZHAO Y T, NIE X R, LUO J, et al. Pupil center location based on radial symmetry combined with selective threshold[J]. Journal of Optoelectronics·Laser, 2016, 27(11): 1208-1213. (in Chinese)
    [30] TIMM F, BARTH E. Accurate eye centre localisation by means of gradients[C]. Proceedings of the 6th International Conference on Computer Vision Theory and Applications, VISAPP, 2011: 125-130.
  • [1] 陈晓冬, 盛婧, 杨晋, 蔡怀宇, 金浩.  多参数Gabor预处理融合多尺度局部水平集的超声图像分割 . 中国光学, doi: 10.37188/CO.2020-0025
    [2] 蔡怀宇, 张玮茜, 陈晓冬, 刘珊珊, 韩晓艳.  眼科光学相干层析成像的图像处理方法 . 中国光学, doi: 10.3788/CO.20191204.0731
    [3] 龙思源, 张葆, 宋策, 孙保基.  基于改进的加速鲁棒特征的目标识别 . 中国光学, doi: 10.3788/CO.20171006.0719
    [4] 王永红, 吕有斌, 高新亚, 但西佐, 杨连祥.  剪切散斑干涉技术及应用研究进展 . 中国光学, doi: 10.3788/CO.20171003.0300
    [5] 吴迪, 王续跃.  氧化锆陶瓷板激光切割熔化物颗粒形态研究 . 中国光学, doi: 10.3788/CO.20160905.0554
    [6] 冯萍, 刘震.  舵面角度测量中结构光光条图像自动定位方法 . 中国光学, doi: 10.3788/CO.20140706.0911
    [7] 曹雷, 陈洪斌, 邱琪, 张建林, 任戈, 徐智勇, 张彬.  盲图像复原研究现状 . 中国光学, doi: 10.3788/CO.20140701.068
    [8] 郭立强, 朱明.  彩色图像处理的可交换Clifford代数方法 . 中国光学, doi: 10.3788/CO.20130606.885
    [9] 屈恒阔, 张清源, 阮友田.  扫描成像跟踪激光雷达 . 中国光学, doi: 10.3788/CO.20120503.0242
    [10] 陶李, 王珏, 邹永宁, 伍立芬, 王慧倩.  改进的Zernike矩工业CT图像边缘检测 . 中国光学, doi: 10.3788/CO.20120501.0048
    [11] 郝志成, 高文.  多模跟踪技术在轮式侦察车图像处理器的应用 . 中国光学,
    [12] 鲁剑锋.  无人机光电载荷图像处理器的设计 . 中国光学,
    [13] 宋建中.  图像处理智能化的发展趋势 . 中国光学,
    [14] 于前洋.  “视频图像处理专集”导读 . 中国光学,
    [15] 冯小勇, 赵忠华, 刘新明.  日间恒星实时探测的视频图像处理 . 中国光学,
    [16] 朱明, 高文, 郭立强.  压缩感知理论在图像处理领域的应用 . 中国光学,
    [17] 董宇星, 刘伟宁.  基于灰度特性的海天背景小目标检测 . 中国光学,
    [18] 黄德天, 陈建华.  DSP图像处理的程序优化 . 中国光学,
    [19] 罗刚, 张云峰.  应用角点匹配实现目标跟踪 . 中国光学,
    [20] 宋江山, 徐建强, 司书春.  改进的曲波变换图像融合方法 . 中国光学,
  • 加载中
图(9) / 表 (2)
计量
  • 文章访问数:  26
  • HTML全文浏览量:  8
  • PDF下载量:  0
  • 被引次数: 0
出版历程
  • 网络出版日期:  2021-02-05

应用于红外眼科疾病检测的瞳孔定位算法

doi: 10.37188/CO.2020-0170
    基金项目:  国家重点研发计划(No. 2017YFC0109901);天津市自然科学基金项目(No. 15JCQNJC14200)
    作者简介:

    蔡怀宇(1965—),女,湖南涟源人,博士,教授,硕士生导师,1991年、2000年于天津大学分别获得硕士、博士学位,主要从事信息光学、光电技术及仪器和图像处理等方面的研究。E-mai:hycai@tju.edu.cn

    史 玉 (1997—),女,山西吕梁人,天津大学精密仪器与光电工程技术学院硕士研究生,2019年于湖北大学获得学士学位,主要从事光学相干层析成像方面的研究。E-mail:yushi_821@tju.edu.cn

    通讯作者: 史玉
  • 中图分类号: TP391;TN247

摘要: 为了实现眼科疾病检测中对被检测者快速、准确、自动化的瞳孔定位,提出一种基于径向对称变换的瞳孔中心点定位算法。首先利用灰度积分投影法结合最大类间方差法,完成对人眼图像的粗分割,并根据多团块筛选条件提取出只包含瞳孔的感兴趣区域(region of interest,ROI)。然后采用对ROI做最小外接矩形结合灰度级形态学线性滤波的方法,完成搜索半径范围的设置。最后,基于改进的径向对称变换算法进行瞳孔中心点定位。实验结果表明:本文算法的定位误差在8 pixel以内,平均定位时间为0.366 s,能够适应人眼图像中噪声干扰、采集不完整等大量非理性状态,满足多种红外眼科疾病检测设备对瞳孔定位算法的要求。

English Abstract

蔡怀宇, 史玉, 娄世良, 汪毅, 陈文光, 陈晓冬. 应用于红外眼科疾病检测的瞳孔定位算法[J]. 中国光学. doi: 10.37188/CO.2020-0170
引用本文: 蔡怀宇, 史玉, 娄世良, 汪毅, 陈文光, 陈晓冬. 应用于红外眼科疾病检测的瞳孔定位算法[J]. 中国光学. doi: 10.37188/CO.2020-0170
CAI Huai-yu, SHI Yu, LOU Shi-liang, WANG Yi, CHEN Wen-guang, CHEN Xiao-dong. Pupil location algorithm applied to infrared ophthalmic disease detection[J]. Chinese Optics. doi: 10.37188/CO.2020-0170
Citation: CAI Huai-yu, SHI Yu, LOU Shi-liang, WANG Yi, CHEN Wen-guang, CHEN Xiao-dong. Pupil location algorithm applied to infrared ophthalmic disease detection[J]. Chinese Optics. doi: 10.37188/CO.2020-0170
    • 目前,全球范围内视觉健康问题严峻[1]:视力损伤或失明人数高达22亿人以上,其中至少10亿人的视力损伤问题本可预防或尚待解决。有效的眼科疾病检测对眼部疾病的预防和治疗具有重要作用。临床常用的眼科疾病检测仪器,如:光学相干层析成像仪(optical coherence tomography,OCT)[2-4]、眼底相机[5-6]等在检测之前,首先需要将仪器成像光轴对准瞳孔中心点,以保证光源发出的光经瞳孔入射到被检测者眼内。在实际操作中,尽管医护人员可通过手动调整实现对准,但是手动对准对操作者的熟练度和被检测者的配合度均有一定的要求,较为繁琐耗时。因此,自动化人眼对准显得尤为重要[7]。自动化人眼对准装置利用瞳孔定位算法获取瞳孔中心点坐标,进而借助步进电机实现成像光轴与瞳孔中心的对准,具有实时、高效、操作简单等特点。其中,瞳孔定位算法的性能对定位结影响最大,因此研究快速、准确、不受噪声和测量条件(如:局部反射光斑、眼睑眼睫毛遮挡、离焦模糊)影响的瞳孔定位算法具有重要实用价值。

      瞳孔定位算法根据识别原理可分为基于数据的方法和基于知识的方法[8]。两种方法的根本区别在于瞳孔中心点的判断准则是否需要根据先验知识进行制定。基于数据的方法不依靠先验知识,而是通过对足够数量的样本进行学习,获取人眼特征,完成人眼定位。常用的方法有支持向量机(support vector machine,SVM)[9-11],卷积神经网络(convolutional neural network,CNN)[12-13],AdaBoost(adaptive boosting)[14-17]等。其中基于Harr特征的AdaBoost人眼检测算法应用较为广泛,该算法利用积分图和级联结构,对一定数量人眼样本的Harr特征进行统计学习,定位人眼区域[17],能够极大地改善人眼检测的定位精度和定位速度。基于数据的方法对图像质量要求不高,但是这类方法需要大量训练样本,训练过程复杂,并且定位结果精度较低,只适用于粗略的人眼定位研究,无法满足红外眼科疾病检测设备的精度要求。

      基于知识的方法依据先验知识制定判断准则,指导人眼定位。这种方法的定位结果更为准确,在精确的人眼定位中占据主要地位。瞳孔的灰度信息[18-20]、边缘信息[21-24]、形状信息[25-30]是常用的判断准则。Vranceanu等人利用人眼的灰度信息,采用灰度投影函数定位人眼区域[18],该方法计算量小但是定位精度较低。张宏薇等人研究了一种改进的基于Hough变换圆检测的瞳孔识别算法[21],算法通过限定检测的半径范围,利用Hough变换得到最佳拟合圆,实现瞳孔中心点定位。该算法解决了传统Hough变换算法计算量大、实时性差的问题,但是当图像数据集发生变化时,需要重新设置半径参数,算法的人工依赖度高。Loy等人提出了一种快速径向对称变换算法[25],该算法实质上是对Hough变换的改进,通过将映射空间从参数空间转化为数字图像,有效降低了算法的变换维度,解决了Hough变换由于参数空间维度过高造成算法复杂度增加,难以满足实时性的问题。并由Yan等人首次应用到瞳孔中心点的检测中[26],实现了较好的瞳孔定位效果。但是直接利用该算法进行瞳孔中心点检测存在两个不足:算法在大面积范围内搜索,计算成本高;算法的相关参数需要人工设置,自适应性差。

      多数眼科疾病检测设备考虑到人眼对红外光感知较弱且红外图像对比度较高,因此均采用红外相机对瞳孔进行实时监控。而红外眼科疾病检测设备在完成了机械头架粗对准和对人眼的轴向调焦后,由于检测过程存在眨眼、晃动等生理现象,人眼图像仍会存在离焦模糊现象,这就要求瞳孔定位算法对轻微的离焦模糊具有一定的鲁棒性。另外因为被检测者之间个体差异明显以及红外眼科疾病检测设备自动对准成像需求,定位算法还需要满足实时性好,精确度高,鲁棒性强,并且具备自适应性的要求。

      综合以上情况,为了满足红外眼科疾病检测设备中多种非理想情况下实时高效自动化的人眼定位需求,本文提出了一种基于径向对称变换的瞳孔中心点定位算法。首先利用灰度积分投影法融合最大类间方差法对图像进行二值化处理,完成了瞳孔区域和冗余信息区域间的粗分割。并结合多团块筛选条件提取出只包含瞳孔的ROI,以减小算法全局性大范围搜索成本。然后根据ROI的最小外接矩形和瞳孔区域间的几何关系,结合灰度级形态学线性滤波,确定搜索半径范围,降低算法的人工依赖度。通过在ROI上运行改进后的径向对称变换算法,有效修正了传统径向对称变换算法计算复杂度高、自适应性差的缺陷,实现了快速、高效的瞳孔中心点定位。该算法在提高定位速度的同时保证了定位精度,对噪声有良好的鲁棒性,可以满足多种红外眼科疾病检测设备的瞳孔定位算法要求,亦可辅助红外眼科疾病检测设备实现人眼结构成像。

    • 径向对称变换算法以广义对称变换为基础发展而来,是一种基于梯度信息的目标检测算子。该算法根据被检测区域的梯度幅值信息和梯度方向信息构造出评价区域对称性的新指标—径向对称度,再采用投票的方式计算被检测区域中每一点在给定的搜索半径n处的径向对称度。随着搜索半径n的递增,具有径向对称特点的目标区域在对称中心处可以累加到较大的径向对称度,从而完成目标区域的检测。

      对于输入图像I中每个点P,都可以在其梯度正负方向上得到正投影点P+ve,负投影点Pve。正负投影点都在以P为中心、以n为半径的圆上。正投影点P+veP点在梯度正方向所指向的点,负投影点Pve为梯度负方向所指向的点,对应的两点的计算公式为:

      $$ {P}_{+ve}=P{+{\rm{round}}}\left(\frac{g\left(p\right)}{\left|\right|g\left(p\right)\left|\right|}n\right) \quad, $$ (1)
      $$ {P}_{-ve}=P-{\rm{round}}\left(\frac{g\left(p\right)}{\left|\right|g\left(p\right)\left|\right|}n\right) \quad, $$ (2)

      其中g表示图像I的梯度矩阵,g(p)表示P点的梯度向量[gx, gy],|| g(p)||表示P点的梯度幅值;n表示搜索半径;round表示对所求值进行四舍五入。

      根据上述的像素点投影关系,可以通过计算梯度幅值映射矩阵Mn和梯度方向映射矩阵On,统计投影点的累加特性,对应的计算公式为:

      $$ On({P}_{\pm ve})= On({P}_{\pm ve})\pm 1\quad, $$ (3)
      $$ Mn({P}_{\pm ve})= Mn({P}_{\pm ve})\pm \left|\right|g\left(p\right)\left|\right| \quad, $$ (4)

      其中公式(3)表示在梯度方向映射矩阵On中对P点的正负投影点位置分别+1,−1,代表图像中每一点P投影到该点的像素数目;公式(4)表示在梯度幅值映射矩阵Mn中对P点的正负投影点位置分别+|| g(p)||, −|| g(p)||,代表图像中每一点P在该点处幅值的累加。

      为了同时从梯度的方向信息和幅值信息反映图像的径向对称特性,需要计算图像I的径向对称度贡献矩阵Sn,对应的计算公式为:

      $$ {S}_{n}=\left(\frac{On}{{max}\left(On\right)}\right)^{\alpha }\frac{Mn}{{max}\left(Mn\right)}*An\quad, $$ (5)

      其中α表示径向控制参数,可以根据不同的需求设定不同的参数值,一般设定α=2;An是二维高斯卷积核,表示对径向对称度贡献矩阵Sn进行高斯滤波,抑制噪声的干扰,核尺寸为$\left[\dfrac{n}{2},\dfrac{n}{2}\right]$,标准差为0.1*n。

      最后将所有搜索半径下的径向对称度贡献矩阵$ {\rm{Sn}} $,进行累加平均,计算最大的径向对称度$ S[i,j] $所对应的坐标,确定对称中心。

      $$S = \frac{1}{N}\sum\nolimits_{n \in [{r_{min}},{r_{max}}]} {{S_n}}\quad.$$ (6)

      可以看出径向对称变换非常适用于检测对称区域。而在人眼图像中,瞳孔区域具有高度的对称性,并且从瞳孔区域到巩膜区域的灰度值有明显的递增性,表明在瞳孔和虹膜的边界处有良好的梯度特性。因此通过径向对称变换算法,可以方便地定位瞳孔中心。但是一般情况下,人眼图像存在大面积的平滑区域、反射光斑区域。其中平滑区域灰度变化均匀,梯度幅值小,对径向对称度的贡献较小,却会大大增加算法的时间成本。而反射光斑区域和瞳孔区域类似,具有明显的径向对称性,且相比于瞳孔区域,径向对称度更高,会对瞳孔中心点的定位精度产生较大的影响。另外传统径向对称变换算法的搜索半径范围n需要人工设置,文献[25-29]都是测试人员依据经验进行人工设置。但是对于应用于红外眼科疾病检测设备的瞳孔定位算法,人眼的瞳孔大小存在个体差异性。如果测试人员根据经验设置搜索半径范围,可能存在范围设置过大或设置过小的问题,特别是对于瞳孔区域没有被采集完整的情况,测试人员可能需要进行多次参数设置。这在很大程度上增加了算法的计算量和人工复杂度,无法满足瞳孔定位算法实时性、自适应性的要求。

    • 本文首先利用灰度积分投影融合最大类间方差的方法对人眼图像进行粗分割,并结合多团块筛选条件提取出只包含瞳孔的ROI,有效避免了算法由于大范围运算导致的计算成本高、易受噪声干扰等问题。然后根据ROI的最小外接矩形和瞳孔区域间的几何关系,结合灰度级形态学线性滤波,完成了半径范围的设置,实现了参数自适应。最后在设置的搜索半径范围内对ROI进行最大径向对称度计算,完成瞳孔中心点定位。算法流程如图1所示。

      图  1  算法总流程图

      Figure 1.  Flow chart of the improved pupil location algorithm

    • 为了避免人眼图像中大量冗余信息(如:大面积的平滑区域以及其他具有径向对称特点的区域)对后续定位的影响,需要对人眼图像进行ROI分割,以便提高瞳孔定位的实时性、准确性。考虑到反射光斑主要位于虹膜和巩膜区域,因此本文将瞳孔确定为ROI。

      最大类间方差法是一种基于全局的图像分割算法,该算法的优点在于不需要人为设置参数,计算量小。但是如果直接利用该方法分割人眼图像,反射光斑区域往往会作为目标区域被提取出来。这主要是由于反射光斑区域和其他区域间差别较大,导致分割阈值极易受反射光斑影响,造成感兴趣的瞳孔区域提取失败。而灰度积分投影法反映的是图像不同区域的灰度均值情况,因此可以有效确定出反射光斑、虹膜、巩膜等所在区域,从而避免其对分割阈值的影响。为了正确提取ROI,本文首先采用灰度积分投影融合最大类间方差的方法对人眼图像进行粗分割,再利用多团块筛选条件提取出只包含瞳孔的ROI,具体处理过程如下:

      利用灰度积分投影法,对人眼图像每行、每列的灰度值求和,可以得到竖直、水平投影曲线,分别如图2(a)(b)所示。可以看出瞳孔区域的投影值在竖直方向和水平方向上均小于各自投影曲线的平均值。基于此,以水平投影平均值、竖直投影平均值为阈值对原图进行分割,可以去除人眼图像中的部分噪声区域,粗分割结果如图2(c)所示。根据人眼图像灰度特点:瞳孔区域灰度值最低、虹膜次之、巩膜最高,对粗分割图像使用最大类间方差进行二值化,结果如图2(d)所示。

      图2(d)可知,经过灰度积分投影和最大类间方差法处理后,人眼图像中仍然存在多个团块:瞳孔区域所在团块,冗余信息所在团块。其中冗余信息所在团块多由所受光照较暗的眼角区域、灰度值存在陡降变化的虹膜巩膜交界区域形成。在形状上,表现为点状、三角状和呈对角的弧线状:点状团块的面积(所含的像素点数目)小于1000,与瞳孔区域所在团块的面积相差悬殊。三角状和呈对角的弧线状团块与瞳孔区域所在团块面积相当,但瞳孔团块相对于其最小外接矩形的占有率远大于三角状团块、弧线状团块。各团块的占有率计算公式为:

      $$ occupancy=\frac{{S}_{\rm{Rectangle}}-{S}_{\rm{Block}}}{{S}_{\rm{Rectangle}}} $$ (7)

      其中SBlock表示团块的面积,SRectangle表示团块最小外接矩形的面积。

      图  2  人眼图像ROI分割示意图(a)竖直投影曲线对照图(b)水平投影曲线对照图(c)粗分割图像(d)二值化图像

      Figure 2.  Schematic diagram of ROI segmentation of a human eye image (a) Vertical projection curve contrast diagram (b) Horizontal projection curve contrast diagram (c) Coarse segmentation image (d) Binary image

      基于瞳孔和冗余信息所在团块间的数值关系,建立多团块筛选条件如下:

      1)计算各团块的面积,去除面积小于1000的团块。

      2)判断团块的个数,如果团块个数等于1,则该团块就是包含瞳孔的团块,继续执行步骤4)。如果团块个数大于1,则需要进行步骤3)做进一步的判断。

      3)计算各团块相对于其最小外接矩形的占有率。选择占有率最高的团块做为包含瞳孔的团块,继续执行步骤4)。

      4)将只包含瞳孔的团块作为蒙版,与人眼图像进行数值运算获取人眼图像的ROI。

      5)提取ROI的边缘区域,设置算法的梯度阈值$ th=0.2max(||g(p)||) $。仅考虑梯度值高于阈值的像素点的投影关系,忽略ROI平滑区域的贡献。

    • 针对传统径向对称变换算法自适应性差的问题,本文提出对ROI做最小外接矩形结合灰度级形态学线性滤波的方法。应用几何学知识,可以得到ROI最小外接矩形的长、宽和瞳孔半径之间的几何关系,进而基于这一关系设置搜索半径范围。但是当睫毛对人眼存在遮挡时,这种方法便会存在较大误差。睫毛的灰度值与瞳孔相近,ROI的分割结果存在3种情况:只包含瞳孔区域;包含瞳孔和睫毛的连通区域,如图3(c);包含瞳孔被睫毛过度分割区域,如图3(d)。在后两种情况中,ROI分割结果受睫毛影响存在提取过多或过少的问题,导致利用几何关系进行参数设置时出现严重误差,进而影响定位精度。

      图  3  受睫毛遮挡的ROI提取示意图(a)样本1图像(b)样本1二值化图像(c)样本1ROI图像(d)样本2图像 (e)样本2二值化图像(f)样本2ROI图像,图像源于数据库CASIA-IrisV4

      Figure 3.  schematic diagram of ROI extraction obscured by eyelashes (a) Image of sample 1 (b) binarization image of sample 1 (c) ROI image of the sample 1 (d) Image of sample 2 (e) Binarization image of sample 2 (f) ROI image of sample 2, Images are derived from the CASIA-IrisV4 database

      为了解决睫毛遮挡对参数设置的影响,本文采用了线性灰度级形态学滤波对人眼图像进行处理。灰度级形态学运算是二值形态学运算的扩展,基本操作有腐蚀运算和膨胀运算。人的眼睫毛是线状,且通常分布在±45°范围之内。基于此,设置线性结构元素如图4(a)所示,利用构造的线性结构元素对人眼图像进行腐蚀-膨胀操作。对于ROI图像中包含瞳孔和睫毛连通区域的情况,在人眼图像中表现为睫毛大部分落在虹膜区域内,只有尖部的小部分落在瞳孔区域,如图3(a)所示。这种情况经过膨胀操作后,睫毛区域的每个像素点经过最大值滤波,该点像素的值被设置为结构元素区域内的最大值,通常为虹膜区域的像素值。而对于ROI图像中瞳孔被睫毛过度分割的情况,在人眼图像中表现为睫毛大部分都落在瞳孔区域,如图3(d)所示。经过腐蚀操作后,睫毛区域的每个像素点经过最小值滤波,该点像素的值被设置为结构元素区域内的最小值,通常为瞳孔区域的像素值。对人眼图像采用线性灰度级形态学滤波后,ROI只包括瞳孔区域,如图4(b)(c)所示。

      图  4  结合灰度级形态学滤波的ROI提取示意图(a)线性结构元素(b)样本1ROI图像(c)样本2ROI图像

      Figure 4.  schematic diagram of ROI extraction combined with grayscale morphological filtering(a)Linear structural element(b) ROI image of sample 1(c) ROI imageof sample 2

      得到去除睫毛干扰的ROI后,采取对ROI做最小外接矩形的方式,设置搜索半径范围。由于人眼图像存在采集不完整的现象,所以ROI的最小外接矩形存在3种情况,如图5所示。利用几何学知识,通过最小外接矩形的长宽比,确定搜索半径范围。设置搜索半径的规则如下:

      图  5  ROI的最小外接矩形示意图

      Figure 5.  Schematic diagram of a minimum circumscribed rectangle of the ROI

      令最小外接矩形的长宽比$ratio= round \left(\dfrac{length}{width}\right)$,搜索步长为1,搜索半径范围为$ [radii-3, radii+3] $。当$ratio{\text{≥}} 0.90$时,采集的人眼图像基本完整,如图5(a)所示:$radii=round\left(\dfrac{length+width}{2}\right)$;当$0.50 < ratio{\text{≤}} 0.90$时,采集的人眼图像不完整,但采集的瞳孔区域占整个瞳孔区域的面积超过一半,如图5(b)所示:$radii=round\left(\dfrac{length}{2}\right)$;当$ratio {\text{≤}} 0.50$时,采集的人眼图像不完整,且采集的瞳孔区域占整个瞳孔区域的面积小于一半,如图5(c)所示:$radii=round\left(\dfrac{lengt{h}^{2}+4*widt{h}^{2}}{8*width}\right)$

      在设置的搜索半径范围内,计算ROI的径向对称度,可以避免算法进行大面积、大范围的搜索,从而实现快速、高效、自动的瞳孔定位。首先确定合适的搜索半径范围。再计算ROI的边缘区域中每个搜索半径下的梯度幅值映射矩阵$ {\rm{Mn}} $、梯度方向映射矩阵$ {\rm{On}} $、径向对称度贡献矩阵$ {\rm{Sn}} $。最后对不同搜索半径下的径向对称度贡献矩阵$ {\rm{Sn}} $累加求平均,获取最大径向对称度对应的坐标,将其作为瞳孔的中心点坐标并根据不同搜索半径下记录的最大径向对称度确定瞳孔半径。其中,为了解决瞳孔中心点不在图像采集区域内导致算法失效的情况,本文在使用径向对称变换算法时,对统计投影点累加特性的各个矩阵的四周均进行了最大搜索半径的填充,从而满足算法迭代过程的空间需求。

    • 为了验证本文算法的有效性,利用计算机硬件配置为Intel Core i5-6300HQ CPU,主频2.3 GHz,4 GB内存,实验平台为MATLABR2016b进行实验。利用实验室自研瞳孔自动化对准装置采集的人眼图像,如图6(a)-(d)所示,包括了CCD相机反射像明显、离焦模糊、眼睑睫毛遮挡严重等情况,大小为752*480像素。ROI图像如图6(a)-(d)中红色框标注的区域。瞳孔中心定位结果如图6(e)-(h)所示,其中红色十字表示人工标定的瞳孔中心点(由专家手动标注,取多次标注的平均值),绿色十字表示算法标定的瞳孔中心点,白色圆圈为算法标定的瞳孔边界。从提取的ROI图像来看,灰度积分投影融合最大类间方差的方法有效提取出了瞳孔区域,并且ROI灰度值范围为[0, 50],边界灰度值范围为[30, 50],满足感兴趣的瞳孔-虹膜边界灰度值范围,为后续定位打下了基础。从定位结果图像来看,本文算法对存在各类噪声的人眼图像的定位结果与人工标定的中心点基本重合,说明本文算法具有较高的定位精度,对噪声有良好的鲁棒性,适用于多种情况下的瞳孔中心点定位。

      此外,本文算法考虑了瞳孔中心不在图像采集区域内的定位情况,弥补了目前瞳孔中心定位算法研究的空白。本文算法对于瞳孔区域采集不完整图像的定位结果如图7所示,由于瞳孔区域没有被完全采集,所以在定位结果图像的四周进行了填充,便于显示算法的标记结果。从图中可以看出,算法对于不完整瞳孔区域边界的标定基本与真实边界吻合,定位精度较高。经过实验,本文算法可以对瞳孔区域不小于30%的人眼图像进行定位。

      图  6  瞳孔定位结果图(a)−(d)人眼图像(e)−(h)定位结果

      Figure 6.  Pupil positioning results (a)−(d) Image of human eye (e)−(h) Localization result.

      图  7  不完整瞳孔区域图像的定位结果图(a)−(d)人眼图像 (e)−(h)定位结果

      Figure 7.  Incomplete pupil area image positioning result (a)−(d) Image of human eye (e)−(h) Localization result.

      为说明本文算法的定位效果,将该算法与同样基于投票思想利用图像梯度信息的传统径向对称变换算法[26]、基于梯度均值的定位算法[30]进行对比。将3种方法应用于60幅实验室搭建的瞳孔自动化对准装置采集的人眼图像,部分实验图像的对比结果如图8所示,其中(a)−(d)是本文算法的定位结果,(e)−(h)是传统径向对称变换算法的定位结果,(i)−(l)是基于梯度均值的定位算法的定位结果,红色十字为人工标记的瞳孔中心点,绿色十字、蓝色十字、黄色十字依次为上述三种算法定位的瞳孔中心点,白色圆圈为算法标定的瞳孔边界。

      为了定量比较三种算法,使用定位时间和定位误差对人眼图像的定位结果进行量化分析。定位误差反映的是人工标定的瞳孔中心和算法标定的瞳孔中心之间的欧氏距离,值越小表明算法的定位精度越高。本文考虑到人工标定的平均误差为8.424 pixel,因此设置当算法的定位误差在8 pixel内时,认为算法定位准确。算法对比结果如表1

      图  8  三种定位算法结果对比(a)−(d)本文算法(e)−(h)传统径向对称变换算法(i)−(l)基于梯度均值的定位算法

      Figure 8.  Comparison of the results of the three location algorithms (a)−(d) Algorithm in this paper (e)−(h) Traditional radial symmetry transformation algorithm (i)−(l) Location algorithm based on gradient mean

      表 1  三种算法的精确度和实时性比较

      Table 1.  Comparison of the accuracy and real-time performance of the three algorithms

      定位方法定位误差/pixel定位时间/s
      本文算法6.3180.366
      传统径向对称变换算法103.6814.610
      基于梯度均值的定位算法7.24210.923

      从上述对三种算法的比较中,可以看出本文算法和基于梯度均值的定位算法确定的瞳孔中心点非常贴近于人工标定的中心点位置,但是传统径向对称变换算法表现出了较大的偏差。这主要是由于图像中除了具有径向对称特点的瞳孔外,还存在反射光斑、眼睑等其他具有径向对称特点的区域。并且这些区域边缘处梯度值高,相比于瞳孔区域,径向对称度贡献更高,从而对瞳孔的定位结果产生影响,导致定位精度降低。而基于梯度均值的定位算法通过后处理,去除了高梯度值区域,有效避免了眼睑、反射光斑等噪声对瞳孔定位的影响。但是算法复杂度较高,实时性不好。

      本文采取ROI分割、搜索半径范围设置对传统径向对称变换算法进行了改进,由表1可知,本方法的平均定位时间为0.366 s,平均定位误差为6.318 pixel,与采集的人眼图像的瞳孔区域相比,平均定位误差比例为1.63%。从表中可以看出,相比于传统径向对称变换算法,本文方法的定位精度提高了16倍,定位时间减少了92%,表明本文算法实现了瞳孔定位在保证高精度的同时,具有较高的速度。可以满足眼科应用对于瞳孔定位算法实时性好、鲁棒性强、精确度高并且具有自适应性的要求。

      为了进一步验证本文方法的适用性,采用CASIA-IrisV4数据库进行实验。CASIA-IrisV4数据库的图像都是在近红外光照射下或者在合成光照射下采集,特点是存在睫毛遮挡、瞳孔尺度不一、反射光斑位于瞳孔区域内且有明显对称性,图像大小为320*280pixel。选取200张图像进行实验。部分实验结果图像如图9所示,(a)−(d)是本文算法的定位结果,(e)−(h)是传统径向对称变换算法的定位结果,(i)−(l)是基于梯度均值的定位算法的定位结果.可以看出本文算法对各种情况下的瞳孔都能实现精确的定位。而传统径向对称变换算法的定位结果受反射光斑明显,这主要是由于该算法在确定对称中心时需要对整幅图像在较大半径范围内进行搜索,而图像中红外照明光源的反射光斑位于瞳孔区域内,且形状表现出明显的对称性,因此反射光斑区域成为算法径向对称度的主要贡献区域,进而导致传统径向对称变换算法定位结果出现较大误差。

      图  9  三种算法定位结果对比图(a)−(d)本文算法(e)−(h)传统径向对称变换算法(i)−(l)基于梯度均值的定位算法

      Figure 9.  Comparison of the results of the three location algorithms (a)−(d) The algorithm in this paper (e)−(h) The traditional radial symmetry transformation algorithm (i)−(l) The location algorithm based on gradient means

      采用定位准确率、定位时间对3种算法的适用性进行客观评价。定位准确率的含义是如果算法的定位误差在8pixel以内,则认为算法对于该图像的定位结果是准确的。实验结果如表2所示,可以看出,相比传统径向对称变换算法和基于梯度均值的定位算法,本文方法的定位准确率更高,说明本文方法适用于大多数个体的瞳孔定位。

      表 2  三种算法适用性比较

      Table 2.  Comparison of the applicability of the three algorithms

      定位方法定位准确率/%定位时间/s
      本文方法980.053
      传统径向对称变换算法811.093
      基于梯度均值的定位算法938.583
    • 本文根据红外眼科疾病检测设备对于眼部对准成像的需求,提出了一种基于径向对称变换的瞳孔中心点定位算法。算法首先利用灰度积分投影结合最大类间方差对人眼图像进行粗分割,并通过多团块筛选条件,完成了对人眼图像的ROI分割。再根据ROI的最小外接矩形和瞳孔区域间的几何关系,并结合灰度级形态学线性滤波,减小了睫毛遮挡对参数设置的影响,确定了搜索半径范围。最后,利用改进的径向对称变换算法进行瞳孔中心点定位。

      通过实验证明,本文算法的定位误差在8pixel以内,平均定位时间为0.366 s。相较于传统径向对称变换算法,定位精度提高了16倍,定位时间减少了92%,可以看出本文算法有效修正了传统径向对称变换算法计算成本高、自适应性差、易受其他具有径向对称特点的噪声区域(如反射光斑、眼皮)干扰的缺陷。另外由实验结果可知本文算法适用于离焦模糊、睫毛遮挡、反射像明显等噪声严重的人眼图像定位,并且对于瞳孔中心不在图像采集区域内的情况也依然适用。该算法基本满足红外眼科疾病检测设备对于自动定位对准装置的要求,有助于辅助多种红外眼科疾病检测设备高效精确地进行眼组织成像。但目前,本文算法对于一些出现瞳孔变形的病眼的定位准确度仍待研究,在以后的研究中会考虑在算法中加入变形程度判定模块,进而采用多方法定位来提升变形瞳孔的定位效果。

参考文献 (30)

目录

    /

    返回文章
    返回