在 NTIRE 2021 上，东升国际官网科技-南洋理工大学结合 AI 钻研中心 S-Lab 对 BasicVSR 传布和对齐？樽鞒鼋徊缴杓，提出了 BasicVSR++
。通过提出的二阶网格传布(second-order grid propagation) 和光流疏导可变形对齐 (flow-guided deformable alignment)，BasicVSR++ 在约莫一样参数量下大幅度超过现有步骤
。更沉要的是，BasicVSR ++ 能够扩大到分歧的视频复原工作中
。在 NTIRE 2021 中，BasicVSR ++ 在视频超分和压缩视频加强工作中获得三冠一亚的优异成就
。

论文名称：BasicVSR++: Improving Video Super-Resolution with Enhanced Propagation and Alignment

Part 1 问题和挑战

视频超分辨率的其中一个难点是必要从高度有关但未对齐的视频帧中网络补充信息以进行复原
。循环 (Recurrent) 结构是用于视频超分辨率工作的盛行框架选择
。通常，在循环模型中跨帧传输持久信息和对齐特点的问题依然是一个很艰巨的工作
。在 CVPR 2021 提出的 BasicVSR [1] 采器拥有特点对齐职能的双向传布，能够有效地利用整个输入视频中的信息
。它可能充任单一但壮大的 backbone，能够在其中轻松增长组件以提高机能
。但是，它在传布和对齐方面的根基设计限度了信息聚合的功效
。我们从分歧的尝试能够观察到，现有步骤通常难以复原精密的细节，尤其是在处置遮挡的复杂区域时
。因而，我们有必要在传布和对准方面进行精密设计
。

Part 2 步骤介绍

为了更有效地传布和荟萃信息，在这项工作中，我们通过设计二阶网格传布 (second-order grid propagation) 和光流疏导可变形对齐 (flow-guided deformable alignment) 来改进 BasicVSR
。下图是 BasicVSR ++ 的概述:

Second-Order Grid Propagation：二阶网格传布解决了 BasicVSR 中的两个局限性：i）我们利用如图所示的网格传布方式进行更有效的双向信息聚合，并且 ii）放松了在BasicVSR中一阶马尔可夫性质的如果，并将二阶衔接整合到网络中，以便能够从分歧的时空地位聚合信息
。以上两方面的批改都改善了网络中的信息聚合能力，并提高了网络对遮挡区域和精密区域的鲁棒性
。

为了推算特点，我们首先使用我们提出的的光流疏导可变形对齐进行特点对齐：

而后把这些特点衔接起来并输进残差？橹校

Flow-Guided Deformable Alignment：由于在可变形卷积 (DCN) 中引入了多样的偏移量，可变形对齐跟光流对齐相迸仔着显着改善
。然而，可变形对齐？榭赡芎苣蜒盗
。训练的不不变性通
；岬贾缕屏恳绯 (overflow)，从而使最终机能降落
。为了利用 DCN 偏移量的多样性且保障其训练的不变性，我们提出了光流疏导的可变形？
。这是由可变形对准和基于流的对准之间的缜密关系所引发的[3]
。我们先会商一阶设定，结构如下图所示：

给定从 LR 图像推算出的特点，为先前功夫步推算出的特点以及到前一帧的光流，我们首先使用光流大体对齐特点：

而后将预对齐的职能用于推算 DCN offsets 和 modulation masks
。这里值得注意的是，我们不直接推算 offsets, 而是推算光流的残差
。

而后把 DCN 利用于未对齐的特点：

以上公式仅设计用于对齐单个特点，因而不合用于东升国际官网二阶传布
。适应二阶设置的最直观步骤是将上述过程别离利用于两个特点
。但是，这必要加倍的推算，从而导致效能降低
。此表，单独的对齐方式可能会忽略来自特点的补充信息
。因而，我们必要允许同时对齐两个特点
。更具体地说，我们将扭曲的特点和光流衔接起来来同时推算一阶和二阶的偏移量：

而后同样地把 DCN 利用于未对齐的特点：

与直接推算 DCN offsets 的现有步骤分歧，我们提出的光流疏导可变形对齐选取光流作为初始偏移量
。这个设计有两个益处
。首先，由于 CNN 只拥有部门感触野，因而能够通过使用光流对特点进行预对齐来辅助偏移量的进建
。其次，通过仅进建残差，网络仅必要进建与光流的微幼误差，从而削减了之前可变形对齐？榈闹笆
。此表， DCN 中的 modulation mask 能够用作一个把稳机造以自适应地调节分歧像素的权沉，从而提供额表的矫捷性
。

Part 3 尝试了局

上图的定量尝试能够证实 BasicVSR ++ 的有效性
。跟 sliding-window 步骤相比， BasicVSR++ 能在更少参数量下达到更优良的成效
。例如，BasicVSR++ 只必要 EDVR 35% 的参数量便能大幅度超过 EDVR
。另表，在大体一样的参数量下，BasicVSR++ 大幅超过 BasicVSR 和 IconVSR
。这些都能证明 BasicVSR++ 的优越性
。从下图两个较难题的例子我们能够看出, 通过我们提出的改进？，BasicVSR++ 能跟有效的把视频的信息利用起来，相对之前的步骤，能够复原出更多的纹理细节
。

Part 4 消融尝试

接着，我们通过消融尝试分析我们提出的部件
。

从上图能够看出，我们提出的部件均对最终的成效有着显著的作用，东升国际官网 BasicVSR++ 比起没有部件的 baseline 逾越 0.91 dB，证了然部件的有效性
。

Second-Order Grid Propagation：我们进一步提供一些定性比力，以相识所提出的传布规划的贡献
。如上图所示，在蕴含精密细节和复杂纹理的区域中，二阶传布和网格传布的贡献越发显著
。在那些区域中，来自当前帧的有限信息可用于沉建
。为了提高这些区域的输出质量，必须从其他视频帧进行有效的信息聚合
。利用东升国际官网二阶传布规划，能够通过靠得住而有效的传布来传输信息
。这些补充信息内容上有助于复原精密的细节
。如示例所示，参与东升国际官网设计组件的网络能够成功复原细节纹理，而去掉这些组件的网络则输出相对吞吐的了局
。

Flow-Guided Deformable Alignment：在上图中，我们将偏移量 (DCN offsets) 与光流进行了比力
。通过仅进建光流中的残差，网络可产生与光流高度类似但拥有可观察差距的 offsets
。当与仅从活动（光流）批示的一个空间地位聚合信息的基线进行比力时，我们提出的？樵市泶又芪У亩喔龅匚患焖餍畔，从而提供更大的矫捷性
。这种矫捷机能有效提升特点的质量
。当使用光流执行变形时，由于空间变形中的插值操作，对齐的特点蕴含吞吐的边缘
。相反，通过从左近区域网络更多信息，我们提出的？樗宰嫉奶氐阍椒⑶宄，并保留了更多细节
。

接着，为了展示我们设计的优越性，我们将对齐？橛肓礁霰涮褰辛吮攘Γ海1）不使用光流
。（2）赔偿保真度损失 [2]，即该光流仅用作损失函数中的监督（而不是像东升国际官网步骤那样用作根基 offset）
。如下表所示，不使用光流作为领导，不不变会导致训练崩溃，从而导致极度差的 PSNR 值
。使用偏移保真度损失时，训练能不变下来
。但是，但 PSNR 跟 BasicVSR++ 比力降落了 2.17 dB
。东升国际官网改进对齐方式直接将光流归并到网络中，以提供更明确的导引，从而产生更好的了局
。

Part 5 结语

在这项工作中，我们用两个新鲜的组件改进了 BasicVSR，以加强其在视频超分辨率工作中的传布和对齐机能
。东升国际官网模型 BasicVSR ++ 在维持效能的同时，大大超过了现有的步骤
。这些设计能够很好地推广到其他视频还原工作，蕴含压缩视频加强
。BasicVSR++ 在今年 NTIRE 2021 中分歧视频复原工作中获得三冠一亚的优异成就
。该步骤也许对其他视频加强或复原工作（如去吞吐和去噪）也会有更好的成效，感兴致的同学能够去尝试
。

Part 6 作者介绍

陈焯杰 (Kelvin C.K. Chan) | 南洋理工大学 S-Lab 和 MMLab@NTU 三年级博士生
。在顶级会议上颁发过五篇论文，在 NTIRE 视频复原角逐中共获得七个冠军
。导师是吕健勤 (Chen Change Loy) 副教授
。当前重要钻研兴致为图像和视频复原，重要蕴含超分辨率和去吞吐等
。

幼我主页：https://ckkelvinchan.github.io/

尝试室主页：https://www.mmlab-ntu.com/

论文地址

https://arxiv.org/abs/2104.13371

Reference

[1] Kelvin C.K. Chan et al. "BasicVSR: The Search for Essential Components in Video Super-Resolution and Beyond." CVPR, 2021.

[2] Kelvin C.K. Chan et al. "Understanding Deformable Alignment in Video Super-Resolution." AAAI, 2021.