CVPR 2018作为推算机视觉领域级别最高的钻研会议，所登科论文代表了推算机视觉领域在2018年最新和最高的科技水平以及将来发展潮水
。之前，我们给各人分享了一篇Oral论文详解“BlockQNN自动网络设计步骤”，今天将为各人分享东升国际官网科技CVPR 2018论文解读第二期内容
。

以下是在底层视觉算法领域，东升国际官网科技颁发的一篇亮点汇报(Spotlight)论文，提出基于深度强化进建的RL-Restore算法，解决拥有复杂混合失真的图像复原问题
。

论文：Crafting a Toolchain for Image Restoration by Deep Reinforcement Learning

作者：Ke Yu, Chao Dong, Liang Lin, Chen Change Loy

论文全文链接：

https://arxiv.org/abs/1804.03312

Project Page：

http://mmlab.ie.cuhk.edu.hk/projects/RL-Restore/

简介

在底层视觉算法领域，卷积神经网络(CNN)近年获得了巨大的进展，在诸如去吞吐、去噪、去JPEG失真、超分辨率等图像复原工作上已经达到了优异的机能
。但是现实图像中的失真往往越发复杂，例如，经过多个图像降质过程后，图像可能蕴含吞吐、噪声、JPEG压缩的混合失真
。这类混合失真图像对目前的图像复原算法依然充斥挑战性
。

近期的一些图像复原工作(如VDSR、DnCNN等)证实了一个CNN网络能够处置多种失真类型或分歧失真水平的降质图像，这为解决混合失真问题提供了新的思路
。但是，这类算法均选用了复杂度较高的网络模型，带来了较大的推算开销
。另表，这些算法的网络均使用统一结构处置所有图像，未思考一些降质水平较低的图像能够使用更幼的网络进行复原
。

针对现有图像复原CNN算法模型复杂，推算复杂度高的问题，本文提出的RL-Restore算法添补了这些不及，以越发高效矫捷的方式解决了复杂的图像复原问题
。

RL-Restore算法的设计思想与挑战

当前盛行的图像复道理想以为解决复杂的图像复原问题必要一个大型的CNN，而本文提出了一种全新的解决规划，即便用多个幼型CNN专家以合作的方式解决难题的真实图像复原工作
。RL-Restore算法的重要思路是设计一系列基于幼型CNN的复原工具，并凭据训练数据进建若何恰本地组合使用它们
。这是由于现实图像或多或少受到多种失真的影响，针对复杂失真的图像进建混合使用分歧的幼型CNN可能有效的解决现实图像的复原问题
。不仅如此，由于该算法能够凭据分歧的失真水平拔取分歧大幼的工具，相较于现有CNN模型，这一新步骤使用的参数更少，推算复杂度更低
。

RL-Restore算法的指标是对一张失真图像有针对性地选择一个工具链(即一系列幼型CNN工具)进行复原，因而其该算法蕴含了两个根基组件：

• 一个蕴含多种图像复原幼型CNN的工具箱;

• 一个能够在每一步决定使用何种复原工具的强化进建算法
  。

本文提出的工具箱中蕴含了12个针对分歧降质类型的CNN(如表1所示)
。每一种工具解决一种特定水平的高斯吞吐、高斯噪声、JPEG失真，这些失真在图像复原领域中最为常见
。针对轻微水平失真的复原工具CNN仅有3层，而针对严沉水平失真的工具达到8层
。为了加强复原工具的鲁棒性，本文在所有工具的训练数据中均参与了轻微的高斯噪声及JPEG失真
。

表1：

工具箱中的图像复原工具

图1：

分歧图像复原的工具链对最终了局产生分歧影响

(c, d) 合用于这两张失真图像的CNN工具链

(b, e) 扭转工具使用挨次的图像复原了局

(a, f) 扭转工具强度的图像复原了局

有了工具箱，若何选择工具成为本文解决的重要挑战之一
。图1展示了分歧工具链的图像复原了局，能够看到对工具链的微幼调整可能导致复原了局的剧烈变动
。本文解决的第二个挑战在于，没有一个已有的工具能够适当的处置“中央了局”
。例如，去吞吐的工具可能也会放大噪声，导致后面已有的去噪工具无法有效处置新引入的未知失真
。针对这些挑战，本文使用强化进建算法训练得到有效的工具选择战术，同时还提出结合训练算法对所有工具进行端到端的训练以解决有效复原“中央了局”的挑战
。

基于强化进建的普适图像复原

RL-Restore算法的框架(如图2所示)
。对于一张输入图像，agent首先从工具箱当选择一个工具对它进行复原
。而后agent凭据当前的状态(蕴含复原中央了局和之前工具的选择)来拔取下一个作为(使用复原工具或终场)，直到算法决定终止复原过程
。

图2：

RL-Restore算法框架，虚线框内为Agent结构

作为(action)：在每一个复原步骤 t，算法会输出一个估值向量vt选择一个作为at
。除了终场作为以表，其余每一个作为均代表使用某个复原工具
。在本文中，工具箱内共蕴含12个工具，因而算法总共蕴含13个作为
。

状态(state)：状态是算法能够观测到的信息，在步骤t的状态记为St={It,v ?t}，其中It是当前步骤的输入图像，v ?t=vt-1是前一步骤的作为估值向量，蕴含了前一步骤的决策信息
。

回报(reward)：在强化进建中，算法的进建指标是最大化所有步骤的累积回报，因而回报是驱动算法进建的关键
。本文但愿确保图像质量在每一步骤都得到提升，因而设计了一个逐步的回报函数rt=Pt+1-Pt，其中Pt+1和Pt别离代表步骤t的输入图像和输出图像的PSNR，怀抱每个步骤中图像PSNR的变动
。

结构：虚线框内的agent蕴含了三个
？(如图2所示)：

• 特点提取器(Feature Extractor)，蕴含了4个卷积层和1个全衔接层，将输入图像转化为32维特点向量;

• One-hot编码器(One-hot Encoder)，其输入是前一步骤的作为估值向量，输出将其转换为对应的特点向量;

• LSTM，其以前两个
  ？槭涑鲎魑淙，这个
  ？椴唤龉鄄獾鼻安街璧淖刺氐，还存储了汗青状态的信息，该
  ？樽詈笫涑龅鼻安街璧墓乐迪蛄，用于复原工具的拔取
  。

训练：每一个复原工具的训练均使用MSE损失函数，而agent的训练则使用deep Q-learning算法
。由于LSTM拥有影象性，每一个训练样本均蕴含一条齐全的工具链
。

结合训练算法

至此，RL-Restore算法已经占有了较好的工具拔取战术，还必要解决对“中央了局”进行复原的挑战
。前文已经提到，由于前面的复原步骤可能引入新的未知失真，没有一个已有工具能对这类复杂的“中央了局”进行有效处置
。因而，本文提出了结合训练算法，将所有的工具以及工具的选择进行端到端地训练，从而解决“中央了局”的复原问题
。具体而言，对于每一张输入图像，先通过所拔取的工具链前向传布得到最后的复原图像，通过与清澈参考图像对比得到MSE损失，而后通过工具链对误差进行反向传布，凭据均匀的梯度值更新工具网络的参数
。

算法1：

结合训练算法

尝试了局

本文使用DIV2K训练集的前750张图像用于训练，后50张图像用于测试
。通过抠取分辨率为63x63的子图像，共得到25万张训练图像和3,584张测试图像
。本文在每一张图像上随机加上分歧水平的高斯吞吐、高斯噪声和JPEG压缩
。算法在训练样本中排除一些极端轻微或严沉的失真，使用中度失真的图像进行训练(如图3所示)，而在轻度、中度和沉度失真的图像上进行测试
。

图3：

分歧水平的失真图像

本文与现有的VDSR和DnCNN图像复原算法相比，模型复杂度更低而复原机能越发优异(如表2、3所示)
。其中VDSR-s是与VDSR结构类似的幼参数模型，其参数量与RL-Restore算法相当
。表2展示了RL-Restore算法拥有最幼的参数量和推算复杂度，表3展示了RL-Restore算法与VDSR和DnCNN等大模型在轻度和中度失真测试集上拥有类似的机能，而在沉度失真测试集上则阐发得越发优异
。在参数量相当的情况下，RL-Restore算法在各个测试集上均比VDSR-s算法占有越发优异的复原机能
。图4展示了分歧算法和本文算法在分歧步骤复原了局的对比
。

表2：

模型复杂度对比

表3：

复原了局对比

图4：

可视化复原了局对比

本文也使用现实场景图像对RL-Restore算法进行了进一步测试
。如图5所示，测试图像由智能手机采集，其中蕴含了吞吐、噪声和压缩等失真，直接使用训练好的RL-Restore和VDSR模型在这些真实场景图像进行测试
。由了局能够看到，RL-Restore算法获得了显著越发优异的复原了局，图5(a, c) 展示了RL-Restore算法成功建复由曝光噪声和压缩带来的严沉失真;图5(b, d, e) 展示了本文步骤能够有效地处置混合的吞吐与噪声
。

图5：

RL-Restore算法对现实场景图像的复原了局

结论

本文提出了一种新鲜的基于强化进建的图像复原算法—RL-Restore
。与现有的深度进建步骤分歧，RL-Restore算法通过进建动态地拔取工具链从而对带有复杂混合失真的图像进行高效的逐步复原
；诤铣墒萦胂质凳莸拇罅砍⑹粤司种な盗烁盟惴ǖ挠行院吐嘲粜
。由于算法框架的矫捷性，通过设计分歧的工具箱和回报函数，RL-Restore算法为解决其他富有挑战性的底层视觉问题也提供了新鲜的解决思路
。