自从BasicVSR提出以来，双向信息流传播已成为视频复原(尤其是视频超分)的标配，不仅取得了NTIRE2021视频增强相关竞赛的冠军，同时基于该思路的方案还取得了MobileAI2021视频超分竞赛的冠军。此外，前段时间刷榜的VRT同样采用了类似的机制。不得不说，对于视频超分而言，BasicVSR的双向信息流传播就是YYDS！不接受辩驳！
近日BasicVSR的作者Kelvin又一次对BasicVSR++在其他视频复原(如视频降噪、视频去模糊)任务中的应用进行了探讨。毫无疑问，BasicVSR++再次屠榜！
由于原始BasicVSR++是针对超分任务而设计，其输入分辨率比输出小4倍。而在视频降噪与去模糊任务中，输入与输出的分辨率相同。为此，作者对BasicVSR++进行了如下两点改进：
- 为改善效率，我们采用stride卷积对输入进行下采样；
- 为进一步减少计算量，在计算光流之前我们对输入帧进行下采样。
更多关于BasicVSR++的内容介绍请移步：NTIRE2021竞赛"三冠一亚"方案BasicVSR++，Vid4新巅峰29.04dB。
Experiments
上图与表给出了视频去模糊任务上不同方案的性能对比，从中可以看到：
- 在DVD与GoPro数据集上，BasicVSR++大幅超越现有方案，比第二名方案指标分别高出1.48dB与1.91dB；
- 受益于输入端的下采样，BasicVSR++不仅具有最高的指标，同时具有最快的推理速度。
上图与表给出了视频降噪任务上不同方案的性能对比，可以看到：
- BasicVSR++显著优于其他方案，同时具有更高的计算效率；相比PaCNet，BasicVSR++推理速度快546倍，同时指标分别高出0.62dB@DAVIS与0.41dB@Set8.
- 有意思的是，随着噪声强度变大，BasicVSR++的性能改善越强;
- 在重建质量方面，BasicVSR++重建结果具有更多细节信息。
此外，作者还给出了BasicVSR++与Transformer方案VRT的性能对比，见上表与图。可以看到：
- 在去模糊任务上，VRT具有与BasicVSR++相当的性能；而在降噪任务上，VRT则优于BasicVSR++；在超分任务上，VRT的性能弱于BasicVSR++。但是，VRT需要非常大的计算复杂度方能达成上述性能。比如，VRT的参数量约为BasicVSR++的5倍@超分和2倍@去模糊+降噪。
- 受益于长期信息交互，BasicVSR++可以重建更锐利边缘与清晰细节，达成与GT相似的结果。
来源：AIWalker
作者：HappyAIWalker
推荐阅读
- HPUN | 特征下采样真的不适合超分吗？
- 浙大&字节团队提出全参考IQA蒸馏无参考IQA的CVRKD-IQA方案，大幅提升无参考IQA性能！
- 273.6FPS！百度开源超轻量实时语义分割方案PP-LiteSeg，兼具高性能与高推理速度
- 恺明团队新作ViTDet：探索ViT骨干在检测中的应用
本文章著作权归作者所有，任何形式的转载都请注明出处。更多动态滤波，图像质量，超分辨相关请关注我的专栏AIWalker。
