近日，中国农业大学李振波教授研究团队在计算机视觉领域顶级会议ICCV 2023（International Conference on Computer Vision）(CCF A类)上发表了研究论文《基于特权信息的视频超分多频表征增强网络》（Multi-Frequency Representation Enhancement with Privilege Information for Video Super-Resolution）。

视频超分 (VSR)是人工智能领域计算机视觉研究的一项基础任务，其目的是从低分辨率（LR）视频恢复高分辨率（HR）视频，是复杂开放环境下智慧农业应用的基础算法模型。然而，现有卷积神经网络（CNN）由于有限的感受野限制了其捕获长距离时空依赖性的能力，从而导致视频超分的性能不令人满意。研究团队提出了一种新的多频表征增强模块 (MFE)，该模块在频域空间捕获输入视频的时空信息提高以模型性能。此外，为了进一步提高模型性能，研究团队还结合VSR输入特点提出了一种新的深度学习特权训练方法，对高分辨率视频中的特权信息进行编码，以提高模型的定量和定性结果。

论文所提出MFPI网络模型的整体架构图

所提出的核心模块MFE主要包括捕获视频帧间空间维度上的长距离关系依赖性的空间-频率表征分支和获取信道间图像特征关系的能量-频率表征分支。此外，团队提出了深度学习特权训练方法，针对对来自高分辨率视频的特权信息进行编码，以提高视频超分模型的性能。最后，模型结合这两种方法，在性能上优于当前最好方法的结果，并在包括REDS4、Vimeo、Vid4和UDM10在内的四个公开超分数据集上实现了定量定性评估最先进（SoTA）的效果。

在REDS4，Vimeo,Vid4,UDM10等公开数据集的定量结果比较

Vimeo-90K-T数据集的定性结果比较

Vid4数据集的定性结果比较

该研究工作的第一完成单位为中国农业大学，合作单位包括清华大学和三星中国研究院。我校信息与电气工程学院李振波教授为论文的通讯作者，共同作者包括信息与电气工程学院博士研究生李飞、清华大学大学博士研究生张林峰、三星中国研究院研究员刘子坤、雷娟。该研究工作得到国家科技创新2030—“新一代人工智能”重大项目课题（2021ZD0113805）的资助。

ICCV，全称International Conference on Computer Vision（计算机视觉国际大会），在世界范围内每两年召开一次。其与计算机视觉模式识别会议(CVPR)和欧洲计算机视觉国际大会（ECCV）并称计算机视觉方向的三大顶级会议。 ICCV 2023于10月2至6日在法国巴黎以线上、线下相结合方式召开。

论文链接：基于特权信息的视频超分多频表征增强网络