文章插图
作者 | 陈翔宇
本文是对国际计算机视觉会议ICCV 2021的论文“A New Journey from SDRTV to HDRTV”的解读。
论文链接：https://arxiv.org/abs/2108.07978
GitHub链接：https://github.com/chxy95/HDRTVNet
该论文由中国科学院深圳先进技术研究院与商汤科技等单位合作，针对当下HDR标准下的SDR转HDR问题进行了分析，并在此基础上提出了由全局颜色映射，局部增强以及高亮细节生成三个部分组成的解决方案。更进一步的，文章提出了一种利用图像全局统计信息的轻量级网络来实现图像自适应的颜色映射。此外，该工作构建了一个基于HDR10标准的数据集并给定了用于评价HDR重建效果的评价指标。实验表明论文提出的方法在定量指标和定性分析上显著优于当前的其他算法。随着显示技术的快速发展，HDR已经成为最新一代显示设备的特点之一。相对于SDR内容，HDR内容具有更宽的色彩空间和更高的动态范围，基于HDR-TV标准的内容能够创造出更为接近真实世界的图像和视频。尽管HDR显示设备越来越普及，然而现实生活中大部分可以获取的资源仍然是基于SDR格式的。因此，当前急需能够将SDRTV的内容转换成HDRTV的算法。SDRTV-to-HDRTV这个任务具有巨大的实际意义，然而当前研究领域却少有关注，主要有以下两个原因：一是HDRTV的相关标准规范（如HDR10，HLG等）直到近几年才逐渐确立完善；二是当前缺少大规模的数据集用于训练和测试。为了推进这一领域的发展，本文对该问题进行了分析，并提出了基础的解决方案以及一个新的数据集和相应的评价指标。本文使用SDRTV/HDRTV来分别代表对应标准下的内容，两种标准对应的规范具体见[1, 2]和[3, 4]。HDR-TV标准的基本主要元素包括宽色域（Rec.2020），HDR的光电转换函数（PQ或HLG）以及10-16比特的色深。不同于以往的LDR-to-HDR目的在于预测线性域上的HDR场景照明，SDRTV-to-HDRTV的目标是实现SDR内容到HDRTV标准下的非线性域的转换。由于在两个任务中HDR的内涵有所不同，其对应的方法也在功能性上有较大的差别。为了帮助更好地理解SDRTV-to-HDRTV任务，本文根据相机的ISP流程和HDRTV内容的制作流程给出了一个经过简化的SDRTV/HDRTV形成流程示意，如图1所示。
文章插图
图1. SDRTV/HDRTV 形成流程
其核心的想法在于，同一个场景的SDRTV和HDRTV版本都源自于同一个Raw数据，其在产生过程中都会经过包括色调映射、色域映射、光电转换函数以及量化等操作。只是由于两种格式本身所使用的标准规范之间的差别，导致其在具体操作上了使用不同的函数以及保留的值域范围不同，最终造成了两个版本内容在色域范围，动态范围以及色深上的差异。因此，相较于将SDRTV-to-HDRTV定义为一个逆问题，这个任务更像是一个图像到图像的转换问题。在这个基础上，SDRTV到HDRTV需要解决的问题主要分为三个方面：一是由形成过程中两个版本使用的全局操作的不同导致的全局的颜色差异问题；二是由于形成过程中的一些局部操作以及量化等带来的局部细节的损失；三是由于SDRTV形成过程中动态范围压缩所带来的高亮区域大面积信息损失的问题。
