近日|meta、cmu联手推出6-dof视频表征方法近日

近日， Meta和CMU的研究人员提出了一种全新的6-DoF视频表征方法，单张RTX3090即可每秒18帧实现百万像素分辨率渲染，或将给VR带来革命性的高质量体验。
最近，由Meta和卡内基梅隆大学提出的6-DoF视频表征模型——HyperReel ，可能预示着一个全新的VR「杀手级」应用即将诞生！
所谓「六自由度视频」（6-DoF），简单来说就是一个超高清的4D体验式回放。
【近日|meta、cmu联手推出6-dof视频表征方法】其中，用户可以完全「置身于」动态场景里面，并且可以自由地移动。而当他们任意改变自己的头部位置（3DoF）和方向（3DoF）时，与之相应的视图也会随之生成。

文章图片
论文地址：https://arxiv.org/abs/2301.02238
与之前的工作相比， HyperReel最大的优势在于内存和计算效率，而这两点对于便携式VR头显来说都至关重要。
而且只需采用vanillaPyTorch ， HyperReel就能在单张英伟达RTX3090上，以每秒18帧的速度实现百万像素分辨率的渲染。

文章图片
太长不看版：
1.提出一种可在高分辨率下实现高保真度、高帧率的渲染的光线条件采样预测网络，以及一种紧凑且内存高效的动态体积表征；
2.6-DoF视频表征方法HyperReel结合了以上两个核心部分，可以在实时渲染百万像素分辨率的同时，实现速度、质量和内存之间的理想平衡；
3.HyperReel在内存需求、渲染速度等多个方面均优于其他方法。论文介绍
体积场景表征（volumetricscenerepresentation）能够为静态场景提供逼真的视图合成，并构成了现有6-DoF视频技术的基础。
然而，驱动这些表征的体积渲染程序，需要在质量、渲染速度和内存效率方面，进行仔细的权衡。
现有的方法有一个弊端——不能同时实现实时性能、小内存占用和高质量渲染，而在极具挑战性的真实场景中，这些都是极为重要的。

文章图片
为了解决这些问题，研究人员提出了HyperReel——一种基于NeRF技术（神经辐射场）的6-DoF视频表征方法。
其中， HyperReel的两个核心部分是：
1.一个光线条件下的采样预测网络，能够在高分辨率下进行高保真、高帧率的渲染；
2.一个紧凑且内存高效的动态体积表征。
与其他方法相比， HyperReel的6-DoF视频管线不仅在视觉质量上表现极佳，而且内存需求也很小。
同时， HyperReel无需任何定制的CUDA代码，就能在百万像素分辨率下实现18帧/秒的渲染速度。

文章图片
具体来说， HypeReel通过结合样本预测网络和基于关键帧的体积表征法，从而实现了高渲染质量、速度和内存效率之间的平衡。
其中的样本预测网络，既能加速体积渲染，又能提高渲染质量，特别是对于具有挑战性的视图依赖性的场景。

文章图片
而在基于关键帧的体积表征方面，研究人员采用的是TensoRF的扩展。
这种方法可以在内存消耗与单个静态帧TensoRF大致相同的同时，凑地表征了一个完整的视频序列。

文章图片
实时演示
接下来，我们就实时演示一下， HypeReel在512x512像素分辨率下动态和静态场景的渲染效果。