多曝光高动态范围图像融合是指:融合一组具有不同曝光参数的图像序列以获取一幅具有完整场景动态范围(即10^8 : 1)的图像。
高动态范围(High Dynamic Range, HDR)图像的目的就是要正确地表示真实世界中从太阳光直射到最暗的阴影这段大范围的光线变化,还原最接近真实场景的图像。因此,它被广泛应用于卫星气象、遥感探测、医疗、军事等领域。相对重新设计传感器以获取HDR图像的方法,多曝光图像序列融合技术成本更低,更适用于实际应用;已论证使用两张不同曝光量同一场景的低动态图像也可以合成HDR图像的可行性,故当前主要利用现有传感器的基础上对同一场景采集多张不同曝光量的数字图像,再合成HDR图像,如图1所示。
(a) 多曝光图像序列
(b) 融合的HDR图像
图1 多曝光图像序列融合HDR图像
融合后的HDR图像能把场景中完整的光线变化都记录下来,信息量非常丰富,克服了传统图像的不足。但由于多曝光图像序列不一定是静止的,可能存在因采集设备抖动导致图像位移,或者场景中出现运动物体导致图像序列中的内容不一致,容易使得融合得到的HDR图像出现伪影等问题,如图2(b)红色方框所示。
(a) ArchSequence多曝光图像序列
(b) 融合的HDR图像
图2 ArchSequence多曝光图像序列融合HDR图像
由于多曝光图像序列中出现了运动物体,从而导致融合后的HDR图像出现了伪影现象,使得图像质量大幅下降,观感体验也不好。为此,可先对图像进行配准对齐,再对配准对齐后的图像序列融合而得到去伪影后的HDR图像。
图像配准是指将不同时间、不同传感器或不同条件(气候、照度、摄像位置与角度等)获取的两幅或多幅图像进行匹配、叠加的过程。它通常是同一场景中不同曝光量的像素的融合,也可以是同一场景中局部移动像素的消除。
当前比较常用的图像配准方法较多是基于PatchMatch算法,通过计算两个图像区域块之间的密集近似最邻域而进行块匹配,消除伪影,如图3所示。
图3 Hu方法融合HDR图像
由图可见,基于PatchMatch块匹配方法的去伪影效果比较好,还能抑制曝光不好的区域。但当场景中较复杂时,PatchMatch算法为了提高精度需要多次迭代,使得时间复杂度较高,去伪影效果不够好,如图4所示。
(a) Significant_and_fast_abrupt_motion多曝光图像序列
(b) Hu方法融合HDR图像
图4 Significant_and_fast_abrupt_motion多曝光图像序列融合HDR图像
此时可以看到,PatchMatch算法不是太理想,窗外山坡上的建筑物、烟囱等物体的细节部分完全丢失。
如何快速有效地从多曝光图像序列中融合得到一幅无伪影与模糊问题的HDR图像?本文引入一致性敏感哈希方法替代PatchMatch算法,进行近似最近邻域的图像区域块搜索。它能将高维数据降维高效处理,并利用图像间的一致性以传播更好的图像块,从而大大加快了密集近似最近邻域的搜索速度与准确性。对多曝光图像序列融合得到的HDR图像如图5-6所示:
图5 本文方法融合的HDR图像
图6 本文方法融合的HDR图像
从仿真结果来看,本文方法在对复杂场景多曝光图像序列融合HDR图像时,能较好地去除伪影,且能保留绝大部分真实场景中的细节信息。客观指标如表1所示。
表1 对于不同图像序列,不同的去伪影方法评价指标
本文主要提出一种基于改进的相机响应函数和一致性敏感哈希算法的HDR图像去伪影融合算法。该方法引入相机响应函数对输入图像序列进行辐射校准,然后使用一致性敏感哈希进行配准融合,有效地解决了由于相机抖动和场景中运动物体在HDR 图像的融合过程中所导致的伪影和模糊现象。对于存在复杂变化的真实场景,本文算法也能较好地在去除伪影的同时精确记录场景中的光照变化,使得融合后的HDR 图像能展示出更多有效信息以便后续利用。仿真结果表明,本文算法在去伪影以及运行时间等方面都具有优秀表现,具有较好的鲁棒性。
引用格式:朱雄泳, 吴炆芳, 陆许明, 谭洪舟, 邹兵兵. 基于一致性敏感哈希块匹配的HDR图像去伪影融合方法. 自动化学报, 2020, 46(7): 1496-1506
作者简介
朱雄泳
广东第二师范学院教师. 主要研究方向为数字图像处理, 视频信号处理, 计算机视觉.
E-mail: [email protected]
吴炆芳
中山大学电子与信息工程学院硕士研究生. 主要研究方向为数字图像处理.
E-mail: [email protected]
陆许明
广东第二师范学院教师. 2015年在中山大学获博士学位. 主要研究方向为数字图像处理, 视频信号处理, 无线通信, 集成电路设计.
E-mail: [email protected]
谭洪舟
中山大学电子与信息工程学院教授.主要研究方向为宽带通信, 信号处理, 复杂系统辨识及建模, 半导体集成电路设计. 本文通信作者.
E-mail: [email protected]
邹兵兵
中山大学电子与信息工程学院硕士研究生. 主要研究方向为数字图像处理.
E-mail: [email protected]
https://wap.sciencenet.cn/blog-3291369-1254374.html
上一篇:基于Q学习的受灾路网抢修队调度问题建模与求解
下一篇:平行系统方法在自动化集装箱码头中的应用研究