机器之心专栏北京邮电大学-模式识别与智能系统实验室来自北京邮电大学和英特尔中国研究院的...|参数量仅为原来1%，北邮等利用超分算法提出高性能视频传输方法( 三 ) 机器之心专栏

图4

文章图片
联合训练
正如上文中所介绍的，该研究可以利用CaFM去替换每个视频段的SR模型。但是通过在一个SR模型上微调n个CaFM模块的方式很难将精度提升到直接训练n个SR模型的PSNR 。因此该研究提出了一种联合训练的框架，该框架可以同时训练n个视频段。公式可以表示为：

文章图片
对于SR图片

文章图片
， i表示第i个视频段， s表示该视频段中的第s个sample 。公式中W_s表示共享的参数， W_i表示每个视频段私有的参数。对于每个视频段，可以这样计算损失函数:

文章图片
在训练过程中，该研究从视频段中统一采样图像来构建训练数据。所有图像用于更新共享参数W_s ，而第i个视频段的图像用于更新相应的CaFM参数W_i 。
VSD4K数据集
Vimeo-90K和REDS等公共视频超分数据集仅包含相邻帧序列(时常太短) ，不适用于视频传输任务。因此，该研究收集了多个4K视频来模拟实际的视频传输场景。该研究使用标准的双三次插值来生成低分辨率视频。研究者选择了六个流行的视频类别来构建VSD4K ，其中包括:游戏、vlog、采访、体育竞技、舞蹈、城市风景等。每个类别由不同的视频长度组成，包括：15秒、30秒、45秒、1分钟、2分钟、5分钟等。 VSD4K数据集的详细信息可在论文的Appendix中阅读，同时VSD4K数据集已在github项目中公开。
定性&定量分析
主实验对比

文章图片
根据上表可以清晰地看到，在不同的视频和超分尺度上该方法(Ours)不仅可以追赶上训练n个模型(S1-n)的精度，并且可以在峰值信噪比上实现精度超越。注：M0表示不对长视频进行分段，在整段视频上只训练一个模型。
VScodec

文章图片
该部分实验对本文提出的方法和传统codec方法(调低码率做压缩)进行了定量比较。根据上表可以清晰地看到(红色表示第一名，蓝色表示第二名) ，在相同的传输大小下(Storage) ，该方法(Ours)在大多数情况下可以超越H264和H265 。同时视频的长度越长， SR模型所占传输大小的比例越小，该方法的优势越明显。
定性比较

文章图片
总体而言，该论文创新性地利用超分辩率算法定义网络视频传输任务，目的是减少网络视频传输的带宽压力。利用内容感知特征调制(CaFM)模块结合联合训练的方式，对每个视频段对应的模型参数量进行压缩(1%) 。为后续的研究者，提供了新的研究方向。
来源：机器之心Pro

机器之心专栏北京邮电大学-模式识别与智能系统实验室 来自北京邮电大学和英特尔中国研究院的...|参数量仅为原来1%，北邮等利用超分算法提出高性能视频传输方法( 三 )

机器之心专栏北京邮电大学-模式识别与智能系统实验室来自北京邮电大学和英特尔中国研究院的...|参数量仅为原来1%，北邮等利用超分算法提出高性能视频传输方法( 三 )