VR|Meta Reality Labs:理想的VR头显还需克服这10项技术挑战( 三 )


视频透视这里需要解决的问题是 , 如何缩小透视摄像头的体积、提升视频透视质量 。 Lanman认为 , 如果神经渲染等图形算法可以实时运行 , 也许有望优化视频透视效果 。



目前 , Reality Labs正在尝试将机器学习算法和传统透视技术结合 , 以实现符合人眼视角的透视效果 。
面部重建在VR社交、VR会议中 , 如果你想要以自己的形象参与 , 则需要某种3D面部重建 , 即使是扮演预设的虚拟化身 , 你可能也需要面部追踪来控制虚拟化身的表情 。 但问题是 , AR/VR头显会遮挡住一半人脸 , 从而影响面部追踪 。



此前 , 为了解决这一问题 , Reality Labs曾做出一些尝试 , 比如在头显面罩内集成应变仪等非图像传感器 , 以实时重建被遮挡的面部结构 。 此外 , 也有一些用手机预先3D扫描面部的方案 。 参考:SIGGRAPH