为了解决上述提到的SDRTV-to-HDRTV的三个主要问题，本文提出了一个包含全局颜色映射，局部增强以及高亮细节生成的解决方案，如图2所示。
文章插图
针对该解决方案，本文提出了一个包含三个深度网络的串联方法HDRTVNet如图3所示。
文章插图
图3. 提出的三阶段SDRTV-to-HDRTV方法HDRTVNet该方法的三个网络分别对应解决方案中的三个步骤。其中第一个网络AGCM包含两个部分，即一个用于实现颜色映射的主网络和一个用于实现图像自适应功能的条件网络。该网络仅使用了1×1卷积，其中主网络的1x1卷积结合ReLU激活函数用于实现颜色值从SDRTV域到HDRTV域的转换。对于条件网络，输入为经过下采样的SDR图像，输出一个条件向量表征输入图像的全局统计信息用于实现图像自适应地调节主网络的映射。在条件网络中，作者提出了一种由1×1卷积、全局池化、LeakyReLU和Instance Normalization组成的颜色条件模块用于高效地提取输入的全局统计信息。对于LE部分，本文使用了一个ResNet风格的网络，由一个浅层特征提取层，若干个残差块以及最后的上采样重建部分组成。对于HG部分，本文使用了一个生成对抗网络来实现高亮生成的目标，该网络的生成网络为一个带有高亮掩膜的UNet结构网络。由于当前缺少基于HDR标准的成对数据集，本文收集了一个由22个HDR10标准以及其对应SDR版本的视频所组成的数据集。其中所有的HDR视频都是基于PQ-OETF和rec.2020色域编码的。经过抽帧处理后的图像数据集包含1235张图像用于训练，117张用于测试。本文使用了PSNR、SSIM、SR-SIM、以及HDR-VDP3五个评价指标用于定量比较，实验的结果如下表1所示。与其他现有方法相比，本文的方法在参数量和图像质量评价指标上都展现出了优越性。
文章插图
对于本文所提方法与其他现有方法的视觉效果比较及颜色过渡测试比较如下图4和图5所示。可以看出本文所提的方法在视觉效果上相较其他方法更接近ground truth，并且不会产生明显的artifacts，在颜色过渡测试中也表现优秀。
文章插图
文章插图
同时本文也对提出的方法进行了消融实验，分别测试了每一阶段在定量指标和视觉效果上的作用，见表1和图4。可以看出，使用了条件网络的AGCM相比只能学习单一映射的主网络在定量指标和视觉效果上都有了明显提升。而经过LE和HG阶段的结果则能在定量指标上得到进一步提升。此外，本文还使用了一种通过可视化SDR到HDR颜色映射的方法来分析不同阶段所起到的作用，如下图6所示。图中的每一个3D LUT反应了输入图像的SDR颜色在经过对应映射后在HDR域上的分布情况。可以看出，经过AGCM的映射相比只有一个主网络而没有图像自适应能力的网络得到的映射在颜色分布上更加均匀，反映在图像的视觉效果上是颜色过渡更为自然，消除了artifacts。而相对于AGCM得到的映射，经过LE和HG阶段的映射颜色分布则更为均匀稠密，证明了这两步能够进一步加强细节的恢复和生成。
