相信不少人都喜欢在电脑上观看电影、动漫等视频资源|马赛克也能变高清 超分辨率算法如何实现480P变4K

相信不少人都喜欢在电脑上观看电影、动漫等视频资源 , 无论是在本地观看还是在线观看 , 高清晰度 , 高分辨率的视频才能带来更好的观看体验 。 但对于那些怀旧党来说 , 可能就没那么幸运了 。
在过去 , 受限于技术原因 , 很多老电影、老动漫的分辨率可能都没有达到720P的水平 , 这就导致观看体验大打折扣 , 毕竟在这个4K视频都随处可见的年代 , 低分辨率的资源确实有点落伍了 。
其实就算放眼到整个行业中来看 , 超高清内容缺乏也是产业普遍存在的痛点 , 渠道的不完善 , 拍摄、制作水平的不成熟 , 技术的不足都成为了阻碍行业发展的绊脚石 , 为了提高超高清视频的生产能力 , 同时最大限度地节省成本 , 就需要人工智能的介入 , 超分辨率算法就是解决这个问题的很好途径 。
提到超分辨率算法 , 可能屏幕前的很多人还不太熟悉 , 但一提到DLSS、FSR或者Xess , 游戏玩家肯定都有所耳闻 , 虽然他们仨涉及的技术都不太一样 , 但从结果来看 , 这三种技术都能提高游戏分辨率 , 带来更好的游戏体验 。
而今天要说的超分辨率算法 , 某种意义上和AMD的FSR技术可以说是相当相似 。
相信不少人都喜欢在电脑上观看电影、动漫等视频资源|马赛克也能变高清 超分辨率算法如何实现480P变4K
文章图片
图像超分辨率问题研究的是在输入一张低分辨率图像时 , 如何得到一张高分辨率图像 , 传统的图像插值算法可以在某种程度上获得这种效果 , 比如最近邻插值、双线性插值和双三次插值等 , 但是这些算法获得的高分辨率图像效果并不理想 。
相信不少人都喜欢在电脑上观看电影、动漫等视频资源|马赛克也能变高清 超分辨率算法如何实现480P变4K】在图像处理方面 , 又一个著名的算法waifu2x , 它使用了SRCNN卷积神经算法 , SRCNN是首个使用CNN结构(即基于深度学习)的端到端的超分辨率算法 , 它将整个算法流程用深度学习的方法实现了 , 并且效果比传统多模块集成的方法好 。
SRCNN流程如下:首先输入预处理 。 对输入的低分辨率LR图像使用bicubic算法进行放大 , 放大为目标尺寸 。
那么接下来算法的目标就是将输入的比较模糊的LR图像 , 经过卷积网络的处理 , 得到超分辨率SR的图像 , 使它尽可能与原图的高分辨率HR图像相似 。
而AI超分辨率技术则是图像修复技术领域的一个方向 。
动漫视频的产出过程中往往带有一系列数字信号处理的过程 , 包括锯齿、晕轮、色块、噪声处理 , 模糊线条处理等等 , 在以前 , 视频工作者往往需要对源进行下采样 , 在母带分辨率下对不同片段进行参数分析 , 并通过一系列滤镜进行手工修复 , 这造成了很大的人力成本 。
而今天的主角 , 就是B站AI实验室开源的Real-CUGAN工具 , 只要用了它 , 就可以把动画图像的质量提升2到4倍 , 而且近乎无损 。
相信不少人都喜欢在电脑上观看电影、动漫等视频资源|马赛克也能变高清 超分辨率算法如何实现480P变4K
文章图片
Real-CUGAN的全称为RealCascaded-U-Net-styleGenerativeAdversarialNetworks(真实的、级联U-Net风格的生成对抗网络) , 使用了与Waifu2x相同的动漫网络结构 , 但由于使用了新的训练数据与训练方法 , 从而形成了不同的参数和推理方式 。
技术细节方面来看 , Real-CUGAN会先行对动漫帧进行切块处理 , 然后使用图像质量打分模型对候选块进行打分过滤 , 得到一个百万级的高质量动漫图像块训练集 。
然后使用多阶段降质算法 , 将高清图像块降采样得到低质图像 , 通过让AI模型学习、优化从低质图像到高质图像的重建过程 , 训练完毕后即可对真实的二次元低质图像进行高清化处理 。