Variant论坛 >
CVPR 2019 | Oral:DAVANet 双目去模糊效果更佳
回复

查看: 回复:6

CVPR 2019 | Oral:DAVANet 双目去模糊效果更佳

\"收藏此主题\"

988导航

 
 
注册:
2007-01-25
  • 0粉丝
  • 0精华
  • 848帖子
编者按:在CVPR 2019上,商汤AI画质团队提出的首个双目去模糊网络DAVANet,该工作为双目底层图像处理和复原相关工作的网络设计提供了新的思路。同时该团队也公开了一个大规模多场景的双目去模糊数据集Stereo Blur Dateset,为该领驭提供训练和测试数据。相比于单目图像去模糊方法,DAVANet在视觉效果和量化指标上均有显著优势。

DAVANet具体是怎么实现的呢?商汤科技AI画质团队为我们带来了详细解读~

动机

双目相机越来越多却没有双目去模糊的网络及数据

该文章提出了一个针对双目相机的去模糊的端对端深度神经网络。即利用双目相机采集的左右两视图去实现去模糊过程。该工作的研究动机在于:

当前双目相机已经广泛应用,如智能双摄手机、仿生机器人、无人驾驶汽车、无人机等。其快速运动或抖动往往会产生图像模糊,这不仅影响拍摄图片质量,也严重影响双目系统的后续图像处理,如深度估计。当前还没有一个基于双目的去模糊网络以及对应的大规模数据集。

根据观察和分析,发现双目的设置在动态场景去模糊问题上有着独特的优势,即depth-varying blur和view-varying blur。接下来将详细介绍该工作的观察和分析。
a, b为左右视图;c, d为稀疏光流图,粗略表示了模糊大小和方向;e, f为深度图
根据双目去模糊问题,该工作对下图给出了两个观察:

差异深度的模糊差异: 单个视图下对比黄框和绿框区域可以看出,距离越近的区域(绿)往往模糊程度更大。由此可见,在去非均匀模糊任务中,深度可以作为有效的先验信息。

左右视图的模糊差异:双目视图下对比绿框可以看出,左右视图的模糊大小和方向上均存在差异。因此可以设计一个左右视图pixel-wise的自适应融合方式,让模糊程度比较小的视图帮助模糊程度大的视图恢复更清晰的图像,使网络有更好的性能。

分析

定义depth-varying blur和view-varying blur

根据以上的观察和初步启发,本文进一步给出了细致的分析和简单的证明,如下图所示。




将两个观察定义为:depth-varying blur和view-varying blur。

具体而言,作者认为相机和场景之间每个复杂的运动模式都可以分解为以下三种子相对运动,即 (a) 空间点P在平行于成像平面移动;(b) 空间点P在垂直于成像平面移动,即沿着深度方向移动;(c) 相对转动。

其中子运动(a)导致产生depth-varying blur,即第一个观察,从图(a)可以得到:

可以发现当空间点P在平行于成像平面移动时,模糊 ΔX和深度f为反相关关系。

子运动(b)(c)导致产生view-varying blur,即第二个观察,从图(b)可以得到:

可以发现当空间点P在垂直于成像平面移动时,左右视图模糊大小不等,成比例关系,该比例与视角和位置相关。

从图(c)可以得到:

说明当空间点和双目相机发生相对转动时,两个视点的线速度方向和大小差异,导致目标成像产生的模糊的大小和方向也是差异的。

网络设计

单目去模糊网络、双目立体匹配网络和融合网络

本文依据以上分析,设计了一个端对端的CNN网络结构,将深度信息感知和左右视图融合建模在该网络里。整体网络结构如下图所示:

主要分三个子网络:单目去模糊网络、双目立体匹配网络和融合网络。

其中单目去模糊网络和双目立体匹配网络均采用U-Net的结构,中间引入了空洞ResBlock和Context Module,区别使得网络获得更大感受野和多尺度信息。

具体网络结构如下:
(a)为单目去模糊网络DeblurNet;(b)为立体匹配网络(双边)DispBiNet
融合网络实现了深度感知和视图融合,为去模糊过程提供了更有效更丰富的特点,即原始特点、深度信息特点、左右视角融合特点的融合。

下图以左视图为例进行说明:

对于深度感知,作者将DispBiNet中估计的视差图和其倒数第二层特点输入深度感知子网络DepthAwareNet,得到深度感知特点。

对于视图融合,首先通过左视图和warp后的右视图差值通过GateNet得到gate map (G),其值范围为[0, 1],其作用为控制左右视图的自适应融合,如下面公式所示:

当G的值趋向于1时,则使得网络偏向融合另一个视角的信息,当G的值趋向于0时,网络则拒绝融合另一个视角的信息。

数据集

丰富场景的双目去模糊数据集Stereo Blur Dataset

本文也收集了大规模多场景的双目去模糊数据集,以训练上述提出的网络模型。该数据集是由ZED Stereo相机采集,利用多帧叠加模拟动态场景blur的生成,其包含了20,637对双目训练图片,其中17,319对为训练样本,3,318 对为测试样本。

数据集网站:https://stereoblur.shangchenzhou.com/ 

实验结果

效果更好  效率更高

作者在上述数据集上对比了其他最新单目去模糊方法,其中其他网络模型均在该数据集上做了充分的Finetune直到收敛,本文DAVANet在PSNR和SSIM上均远超过现有方法,且有更优的运行效率,如下表所示:

下图为可视效果对比,可以看出,DAVANet可能重建出更加清晰的图像,尤其在比较大的模糊图像下,优势更加显著。










DAVANet代码和数据集目前已经开源,欢迎各位同学使用和交流。

论文:

DAVANet: StereoDeblurring with View Aggregation

Shangchen Zhou, Jiawei Zhang, WangmengZuo, Haozhe Xie, Jinshan Pan, Jimmy Ren

论文地址:

https://arxiv.org/pdf/1904.05065.pdf 

项目地址:

https://www.shangchenzhou.com/projects/davanet/ 

源码地址:

https://github.com/sczhou/DAVANet 

数据地址:

https://stereoblur.shangchenzhou.com/ 




References

[1] Seungjun Nah, Tae Hyun Kim, and Kyoung Mu Lee. Deep multi-scale convolutional neural network for dynamic scene deblurring. In CVPR, 2017.

[2] Orest Kupyn, Volodymyr Budzan, Mykola Mykhailych, Dmytro Mishkin, and Jiri Matas. Deblurgan: Blind motion deblurring using conditional adversarial networks. In CVPR, 2018.

[3] Jiawei Zhang, Jinshan Pan, Jimmy Ren, Yibing Song, Lin- chao Bao, Rynson WH Lau, and Ming-Hsuan Yang. Dynamic scene deblurring using spatially variant recurrent neural networks. In CVPR, 2018.

[4] Xin Tao, Hongyun Gao, Xiaoyong Shen, Jue Wang, and Jiaya Jia. Scale-recurrent network for deep image deblurring. In CVPR, 2018.
 
回复本楼

太平洋汽车全新推出“太平洋车友会”;来太平洋车友会,结识志同道合的车友了解详情>>

爱琴海蓝

 
 
注册:
2009-12-18
友情帮顶,不用谢
 
回复本楼

多啦A梦

 
 
注册:
2014-11-19
车友会签到888天以上
来自太平洋汽车 iPhone客户端  
 哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈
 
回复本楼

苦海无边

 
 
注册:
2014-11-23
车友会签到888天以上
来自太平洋汽车 iPhone客户端  
 哈哈哈哈哈哈哈哈哈哈哈哈哈哈
 
回复本楼

正义熊二

 
 
注册:
2014-10-15
车友会签到888天以上
来自太平洋汽车 iPhone客户端  
 哈哈哈哈哈哈哈哈哈哈哈哈哈哈
 
回复本楼

长江七号088

 
 
注册:
2014-11-04
车友会签到888天以上
来自太平洋汽车 iPhone客户端  
啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊
 
回复本楼

正义熊二

 
 
注册:
2014-10-15
车友会签到888天以上
来自太平洋汽车 iPhone客户端  
啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊啊
 
回复本楼
未登录用户

只可添加一张图片,多张图片请选高级模式

高级模式
温馨提示:回复超10字可获1金币,有独特见解超30字可获3金币,灌水用户将扣除金币并锁号处理。希望广大车友共同维护论坛的友好回复氛围。
常用表情
您可能感兴趣

支付宝扫码询价
领最高888元现金红包

关闭