图像超分辨率技术指的是根据低分辨率图像生成高分辨率图像的过程，该技术希望根据已有的图像信息重构出缺失的图像细节 。视频超分辨率技术则更加复杂，不仅需要生成细节丰富的一帧帧图像，还要保持图像之间的连贯性 。
在一篇名为「Temporally Coherent GANs for Video Super-Resolution (TecoGAN)」的论文中，来自慕尼黑工业大学的研究人员提出了一种用于实现视频超分辨率的新型 GAN——TecoGAN 。
此前，已经有开发者利用 ESRGAN 这种视频超分辨率模型重制了很多单机游戏，包括经典的重返德军总部、马克思·佩恩和上古卷轴 III：晨风等等 。重制的高清版游戏在画质上有很好的效果，而且还保留了原始纹理的美感与风格 。
以下三幅动图的右半部分是用 TecoGAN 生成的，说不定用它来重制单机游戏会有更惊人的效果 。该方法能够生成精细的细节，较长的生成视频序列也不会影响其时间连贯度 。
图中，动物皮的网格结构、蜥蜴的图案和蜘蛛背部的斑点无不彰显该方法的效果 。该方法中的时空判别器在引导生成器网络输出连贯细节方面居功至伟 。
这个视频超分辨率 GAN 牛在哪里？ 自然图像超分辨率是图像和视频处理领域的一大经典难题 。对于单一图像超分辨率（SISR），基于深度学习的方法可以达到当前最佳的峰值信噪比（PSNR），而基于 GAN 的架构在感知质量方面实现了重大改进 。
在视频超分辨率（VSR）任务中，现有的方法主要使用标准损失函数，如均方差损失，而不是对抗损失函数 。类似地，对结果的评估仍然聚焦于基于向量范数的指标，如 PSNR 和结构相似性（Structural Similarity，SSIM）指标 。与 SISR 相比，VSR 的主要难点在于如何获取清晰的结果，且不会出现不自然的伪影 。基于均方差损失，近期的 VSR 任务使用来自低分辨率输入的多个帧 [13]，或重用之前生成的结果 [28] 来改进时间连贯度 。
尽管对抗训练可以改善单个图像的视觉质量，但它并不常用于视频 。在视频序列案例中，我们不仅要研究任意的自然细节，还要研究可以稳定形式基于较长图像序列生成的细节 。
该研究首次提出了一种对抗和循环训练方法，以监督空间高频细节和时间关系 。在没有真值动态的情况下，时空对抗损失和循环结构可使该模型生成照片级真实度的细节，同时使帧与帧之间的生成结构保持连贯 。研究者还发现了一种使用对抗损失的循环架构可能会出现的新型模型崩溃，并提出了一种双向损失函数用于移除对应的伪影 。
该研究的核心贡献包括：
提出首个时空判别器，以获得逼真和连贯的视频超分辨率；提出新型 Ping-Pong 损失，以解决循环伪影；从空间细节和时间连贯度方面进行详细的评估；提出新型评估指标，基于动态估计和感知距离来量化时间连贯度 。论文：Temporally Coherent GANs for Video Super-Resolution (TecoGAN)
推荐阅读
- 瓷都免费测名字打分
- 微信视频号怎么关闭定位 微信视频号关闭定位的方法
- 手机压缩免费软件app讲解 软件压缩包怎么安装
- 走火电视剧免费大结局 电视剧走火讲的是什么
- 微信群怎么视频 微信群视频的操作方法
- 怎么发30秒视频 30秒的视频怎么发
- 淘宝全国联保是全部免费吗？有哪些服务？
- 异界之骨灰玩家小说txt全集免费下载
- 营销的概念和营销技巧 短视频营销方案怎么写
- 头条视频怎么自动播放 其实很简单