赵全超，杨祯明，陈旭，王春芳，张大伟

（1.上海理工大学 理学院，上海 200093；
2.上海理工大学 光电信息与计算机工程学院，上海 200093）

传统光学成像是基于光场一阶性质的被动直接成像技术，利用阵列探测器直接记录物体表面的光强分布。关联成像是一种基于光场二阶或高阶关联的主动间接成像技术。关联成像使用的是桶探测器（单像素探测器），可以在微弱的回波条件下进行成像[1-3]，同时，关联成像可实现无透镜成像，能够在X光[4-5]，红外[6-7]，太赫兹（THz）[8-9]等一些难以成像的波段进行成像。因此，关联成像一经提出，便引起了众多学者的兴趣。1988 年，Pittman等[10]基于自发参量下转换过程中产生的信号光子对和空闲光子对的量子性质，提出了关联成像实验方案。2002 年，Bennink等[11]利用经典光源证明了量子纠缠源不是实现关联成像的必要条件。此后，关联成像作为一种新型的成像技术，在军事领域得到了广泛的研究和应用。此外，与传统光学成像相比，关联成像的成像质量可以通过多次测量来抑制与使用光源无关的其他噪声的方法得到提高[12-13]。但由于传统的二阶关联成像算法受限于奈奎斯特采样定理的极限，为突破奈奎斯特采样定理的极限，使得关联成像在低采样率下依旧能重构出高质量图像，研究者将传统二阶关联成像算法与新的理论方法相结合，提出一些新的关联成像算法。本文总结了近年来关于低采样关联成像的研究进展，将这些研究成果分为两部分：第一部分通过优化光源的调制方式来降低采样率；
第二部分通过优化关联成像算法来降低采样率。

关联成像，又叫鬼成像，是一种使用光源照射物体的主动成像技术。从光场强度涨落理论来探讨关联成像原理[14-15]。在实际应用中，可使用旋转的毛玻璃产生相干光源。由于探测器在测量过程中记录的是一定时间内对光强的积分结果，只有当积分时间小于光场相干时间，探测器才能记录光场的强度涨落，而自然光源的相干时间非常短，现存的探测器响应时间太长，只能记录几个光场强度涨落的平均。旋转的毛玻璃产生的相干光相干时间长，通过这种方式产生的光源被称为赝热光。赝热光的制备比较简单，因此赝热光关联成像在相当长的时间内得到了广泛应用。

如图1 所示，关联成像系统具有两条光路：一条为参考光路，即光经过空间自由传播被具有空间分辨能力的探测器记录为I1(r,t) ；
另一条为测试光路，经过待测物体的光强被桶探测器收集为I2(t) 。物体的图像可以经过两个探测器采集的数据进行强度关联得到，即

图1 赝热光关联成像示意图Fig.1 Schematic diagram of pseudothermal light associated imaging

式中：〈〉为时域上的系综平均；
I1(r,t)为t时刻阵列探测器记录的光场强度分布；
I2(t)为t时刻桶探测器记录的通过物体的总光强值。

关联成像质量与系统的采样数有关，采样数越多重构出的图像信噪比越高。但在很多的应用场景中，无法进行多次测量，如运动物体成像、遥感成像、显微成像等。如何在低采样率的情况下重构出高质量的图像成为亟待解决的问题。

采样次数决定着关联成像的效率与质量。在实际应用中，数据的采集量与成像质量形成矛盾。如运动物体的成像问题，目标的快速运动决定了无法保证充足的采样数量及时间。根据近几年的研究结果，该问题的解决主要有以下两个方面。

2.1 光源的调制

在关联成像中，同等采样情况下，可以通过改变散斑的调制方式有效地获取物体信息，以此来降低成像所需的采样数。2013 年，中国科学院上海光学精密机械研究所韩申生研究员基于物体不同复杂程度提出了一种利用多尺度相关构造高效测量矩阵的方法[16]。测量矩阵的横向相关尺度通常是恒定的，横向相关尺度大于物体细节尺寸则无法成像，横向相关尺度小于物体细节尺寸则增加成像所需采样数。多尺度相关即利用大小混合散斑去照明物体，相同图像信噪比的情况下，使用大小混合散斑比使用普通散斑采样次数要更少。2017 年，Glasgow 大学的Miles 小组受动物凹形视觉启发，利用高分辨率的中心凹区域跟踪场景中的运动物体，牺牲视场边缘区域的图像分辨率，提高了中心视场的图像分辨率[17]，该方法消除了许多动态场景的时空冗余。2017年，北京航空航天大学的孙鸣捷等基于传统的压缩感知技术，提出了另一种压缩感知方法[18]，用俄罗斯娃娃排序的方法对Hadamard 基重新排序，在离散增量下，获得了不同空间分辨率的完整采样。如图2 所示，这种压缩方法与其他压缩感知技术一样，可将采样率降至6%。

图2 压缩单像素成像的Hadamard 基的俄罗斯娃娃排序[18]Fig.2 Compressed single pixel imaging of Hadamard-based Russian doll sorting[18]

2019 年，北京理工大学的余文凯研究小组基于散斑与图像重建之间的内在联系，提出了一种确定性折纸图案构造的光源调制方法[19]。如图3 所示，该方法可以获得更精确的散斑排序序列，将采样率大幅降低。2019 年，该研究小组采取蛋糕切割策略提出另一种光源调制方法[20]，把测量矩阵看作一个蛋糕，每个连通域视为蛋糕的一块，按照升序的方式对测量矩阵的连通域数量进行排序。该方法能够在超亚奈奎斯特采样下重构出高质量的图像，显著缩短采集时间。2020年,葡萄牙科英布拉大学的Vaz 等研究了Hadamard基的自然排序、Walsh 排序、蛋糕切割排序、高频排序及随机排序对图像重建质量的影响[21]。结果表明，Walsh 和蛋糕切割排序在采样率为30%的情况下可实现图像的高质量重建；
当采样率降为10%时，这两种排序方式所得到的结果略有不同。2020 年，重庆大学的杨帆研究小组在降低采样率和提高图像重构质量方面，也提出了不同排序的Hadamard 基模式[22]，取得采样率为5%时的重构结果。2021 年，深圳大学的焦述铭研究小组提出自适应动态确定照明模式顺序的方法[23]。自然图像在其频谱中的低频分量由其空间域的平滑区域决定，高频分量由细节区域决定。为平衡低频分量与高频分量的优先级，在迭代中将记录的桶光强与训练图像的平均光谱进行对比并对下一次迭代的照明模式进行最佳排序。该方法使重构图像所需采样数进一步降低。

图3 折纸图案构造的方法 [19]Fig.3 The method of origami pattern construction[19]

2.2 成像算法

作为一种新型的主动间接成像技术，重构算法对关联成像系统的性能同样有着重要的作用。先进的算法可以让关联成像重构图像所依赖的采样数大幅减少。关联成像的成像算法可分为3 种。

1）基于强度关联的成像算法。研究人员在强度关联的基础上对成像算法进行不断优化，以降低成像所需的采样次数。2010 年，诺布里亚大学的Ferri 等提出了差分鬼成像（DGI）[24]，将物体的传输函数修改为平均传输函数，提高关联成像对强度波动的敏感度，有效降低了采样率。在同等条件下，和传统鬼成像（GI）相比可以用更少的采样数重构图像。2012 年，孙宝清提出了归一化迭代鬼成像[25]，通过对测量信号进行归一化，可以对待测目标的集合平均施加更合适的加权因子，从而有效降低采样次数。2014 年，中国科学院大学的翟光杰研究小组提出了迭代去噪鬼成像（IDGI）[26]，将传统的强度相关去噪方法与迭代方法相结合，对影响图像质量的实际噪声进行了精确的估计，从而有效降低采样率。如图4 所示，在相同条件下，实验结果显示IDGI 重建图像的质量明显优于DGI、GI 的重建图像。2019 年，国防科技大学的刘伟涛研究小组针对有限的采样数量和光照不完全引起的关联成像系统中点扩散函数误差的问题，提出了一种利用照明场的二阶相干性进行归一化的算法[27]，该算法可以减小误差，从而降低采样率。2020 年，清华大学的李俊林研究小组提出了一种即时鬼成像算法[28]，将桶光强与测量矩阵的关联修改为两次连续测量之间的桶光强差与测量矩阵差的关联，并进行积累。最后一次测试时，积累项就是物体的图像。该处理方法等效于关联成像去背景噪声算法，从而有效降低采样率，并且检测信号差的处理几乎不需要时间，因此用该处理方法为关联成像的实用化提供了一种可能思路。

图4 迭代去噪鬼成像结果[26]Fig.4 Iterative denoising ghost imaging results[26]

2）基于压缩感知的成像算法。有实验表明，将压缩感知理论引入关联成像算法中可以有效地减少成像所需的采样次数。2009 年，以色列魏茨曼科学研究所的Katz 等提出了一种先进的关联成像算法[29]，自然界中的自然信号和图像结构中存在冗余。利用这一特点在关联成像算法中引入压缩感知理论，该算法将采样率降到30%。2014 年，吉林大学的郜峰利研究小组通过计算各散斑场的行向量构成的伪逆矩阵提出一种基于伪逆的关联成像算法[30]，该算法与传统关联成像算法和压缩感知算法相比，重构相同质量的图像所需采样数更少。2015 年，中国科学院西安光学精密机械研究所的张同意研究小组研究了不同的信号重建技术对压缩鬼成像（CGI）重构图像质量的影响[31]。利用关联成像实验系统证明了贪婪近似算法（OMP）、基追踪去噪算法（BPDN）、交替方向算法（TVAL3）3 种不同方法的可行性，实验结果如图5 所示。2018 年，长春大学的宋立军研究小组基于投影Landweber 正则化和引导滤波提出一种高质量压缩鬼成像算法[32]，该算法通过正则化和去噪的分解来重建目标图像，有效降低系统采样率，提高重构图像的质量。

图5 基于不同信号重建方法的压缩关联成像的结果[31]Results of compressed correlation imaging based on different signal reconstruction methods[31]

3）基于机器学习的关联成像算法。近年来，随着深度学习迅速发展，尤其是计算机视觉的发展，将深度学习与关联成像相结合,不仅可以降低成像所需的采样次数，而且对成像效率的提高起着关键作用。2018 年，日本千叶大学的Shimobaba 等将深度学习与计算关联成像相结合[33]，利用神经网络自主学习的特点，使用深度神经网络（DNN）自动学习CGI 重建的噪声图像的特征。训练后，该网络可以从未包含在训练集中的新的有噪声CGI 图像中预测低噪声图像，可极大减少采样需求。2019 年，中国科学院上海光学精密机械研究所的司徒国海研究小组基于深度神经网络提出了一种端到端的方法[34]，用数值模拟数据训练网络模型，将实验采集到的一维桶信号直接载入训练好的网络模型，重构出目标的二维图像，实验结果表明这种方法可以将采样率降至2%，网络结构如图6 所示。2020 年，广东工业大学的王瑞洲研究小组提出了一种深度神经网络模型（DAttNet）[35]，用于恢复目标图像。利用仿真数据训练DAttNet，可将没有分辨本领的实验桶光强数据实现目标图像的重构。实验结果表明，该方案能够在亚奈奎斯特采样条件下（如2%）重构高质量的图像，其性能优于常规和压缩感知关联成像算法。2021年，该研究小组提出一种自适应混合神经网络用于关联成像[36]，来恢复不同亚奈奎斯特采样比（SNSRs）下物体的高质量图像，网络中添加了干扰添加层（HA）来去除训练过程中的退化和噪声，用模拟数据对该网络进行训练，可以从不同采样率下的实验数据中恢复出高质量的图像。2021年，南昌大学的燕秋容研究小组基于生成对抗网络（GAN）提出了一种压缩重构网络（OGTM）[37]，将实现采样的采样子网络与生成网络进行联合优化，从而更好地进行图像重构，该方法将关联成像系统的采样率将至1%。2022 年,中国科学院上海光学精密机械研究所的司徒国海研究小组又提出了一种基于深度学习的超分辨率远场GI算法[38]，将GI 图像形成的物理模型整合到深度神经网络中，并施加相应的约束条件，利用这种方法的远场图像重建，除采样率要求不高之外，其分辨率可超过衍射极限。

图6 深度神经网络模型结构示意图[34]Fig.6 Structure diagram of deep neural network model[34]

关联成像作为一种主动间接成像技术，有着优于传统光学成像技术的优势。这些优势使关联成像在生物医疗、遥感、国防、非局域成像等领域备受关注。但是关联成像想要走向实际应用，不仅要在更低的采样率下获得高质量的重构图像，而且还要考虑图像重建的速度。考虑这两种因素，简要分析以上几种方法的优缺点。这些方法可分为基于压缩感知理论和深度学习理论的两大类优化方法。压缩感知理论引入关联成像，利用自然界大多数自然信号和图像结构的稀疏性，虽然有效降低了系统的采样率，但是图像的重构效率被降低，限制了关联成像在实际应用中的发展。深度学习理论引入关联成像，利用神经网络自主学习的特点，让神经网络模型自主学习桶光强与目标图像之间的映射关系，虽然有效降低系统的采样率及提高图像重构效率，但是前期需要花费大量的时间去准备网络训练所需训练集及训练网络。这也限制了关联成像的发展。随着科学技术的发展，相信在可预见的未来，可以攻克这些难题，使关联成像的产业化进程得到全面推进，应用于更广泛的领域。

猜你喜欢 排序关联重构 青少年劳动教育实施的认知与策略重构中国德育(2022年9期)2022-06-20“双减”能否重构教育生态?当代陕西(2022年4期)2022-04-19长城叙事的重构摄影世界(2022年1期)2022-01-21作者简介名家名作(2021年4期)2021-05-12恐怖排序科普童话·学霸日记(2020年1期)2020-05-08“一带一路”递进，关联民生更紧当代陕西(2019年15期)2019-09-02节日排序小天使·一年级语数英综合(2019年2期)2019-01-10奇趣搭配学苑创造·A版(2018年11期)2018-02-01用四维的理念重构当代诗歌天津诗人(2017年2期)2017-11-29智趣读者(2017年5期)2017-02-15