冬奥会冰壶和速滑转播的“时间凝结”特效如何制成？上海企业揭秘你有没有注意到

文章图片
你有没有注意到，北京冬奥会冰壶、速度滑冰两项赛事的转播采用了自由视角技术，还配有“时间凝结”特效？它们让观众不再局限于一个视角观看比赛，还能多角度细看精彩瞬间的定格画面。这一技术创新是如何实现的？解放日报·上观新闻采访人员采访了叠境数字科技（上海）有限公司。
叠境数字成立于2016年，是上海科技大学孵化的第一家企业。上海科技大学信息学院执行院长虞晶怡教授带领科研团队，将光场技术、智能视觉、数字孪生等技术转化为生产力，为智慧城市、智能制造以及方兴未艾的“元宇宙”等领域服务。
“我们公司主要研发三维视觉的底层技术，对真实世界进行三维重建。 ”叠境数字副总裁石志儒博士说。本届冬奥会上，公司之所以能参与赛事转播，是因为他们拥有一种对比赛现场的三维重建能力——自由视角交互视频技术。

文章图片
在冰壶赛场，这家企业与上海科技大学一起参与设计了自由视角采集系统，在“冰立方”部署了64套4K超高清多视角相机系统。在国家速滑馆，他们部署了80套4K超高清多视角相机系统，从各个方位和角度拍摄速滑运动员的身影。
配备这种系统的赛事转播有什么独特之处？项目负责人马文广向采访人员展示了两段视频。只见在冰壶比赛中，运动员在投壶瞬间的画面会被定格，仿佛时间凝结；与此同时，转播视角开始转动，让观众看到运动员投壶瞬间的各个角度场景。时间短暂凝结后，冰壶开始滑行，在碰撞到其他冰壶的刹那，时间再次凝结，观赛视角随即转动起来，让观众更全面地了解各个冰壶的位置关系，不再受限于一个视角。

文章图片
另一段速滑视频的亮点在弯道处，只见两名选手过弯道时，时间凝结了，同时观赛视角开始转动，从运动员身前转到身后，让观众看清两人的滑行姿态和位置关系。 “过弯道是速滑选手超越对方的好机会，也是容易出现失误的地方，所以我们把自由视角和‘时间凝结’特效主要安排在弯道处。 ”马文广说。

文章图片
这位上海科技大学科研人员介绍，自由视角转播有两项关键技术：一是相机系统的三维标定，使各个视角拍到的画面在空间上形成连续性，不会上下跳跃，从而能顺滑地进行视角切换；二是基于神经网络渲染（NeRF）的自由视点视频生成技术，让计算机系统根据转播画面，自动生成一些虚拟画面，与真实场景无缝衔接。马文广解释，海量数据与深度学习结合，可以让三维渲染的过程自动化智能化。因为4K多视角相机的部署成本颇高，要尽量减少设备数量，人工智能系统生成以假乱真的虚拟视角场景，就能降低自由视角转播的成本。
在硬科技的支撑下，叠境数字作为技术提供方，将冬奥会自由视角转播信号提供给奥林匹克广播服务公司（OBS），由后者向全球媒体平台分发，包括我国的央视和咪咕。

文章图片
据介绍，这家上海企业2019年首次将自由视角技术应用于第十五届世界武术锦标赛转播，随后推广到腾讯《超新星运动会》、东方卫视《伟大舞者》等文体项目，形成了一套能同时提供“时间凝结”特效和自由视角直播、点播服务的一体化解决方案。在“时间凝结”特效制作中，研发团队还开发出对观众感兴趣区域的放大缩小、改变聚焦点以适应不同运动区域、虚拟视角生成等功能，进一步增强了视觉效果。