Niantic优化3D测距技术,单目摄像头也能扫描3D场景
日前 , 为了扩大和发展移动端LBSAR应用生态 , Niantic面向第三方开发者开放AR开发平台Lightship , 该平台的特点是可以简化AR开发流程 , 让开发者可以将更多时间放在设计游戏和体验上 , 不用担心代码、网络、平台和设备适配等问题 。
文章图片
与此同时 , Niantic也在不断更新Lightship的功能 , 提升AR内容体验感(多人AR、虚实融合的遮挡效果、物理模拟等) 。 近期 , Niantic科研团队公布了一项3D场景扫描相关的突破 , 并在CVPR会议上发表了相关论文 。 Niantic表示:这项技术将很快应用在LightshipARDK中 , 供任何AR创作者使用 , 开发者可以通过GitHub托管平台来预览并获取ManyDepth代码 , 以及样例和使用指导 。
据青亭网了解 , Niantic研发的低门槛3D扫描方案名为ManyDepth , 该方案将大幅提升智能手机的AR和3D扫描效果和准确性 , 只需要单颗RGB摄像头、一帧2D图像即可生成3D地图数据 , 对设备门槛要求更低 , 并且支持多人同时扫描 。
文章图片
实际上 , Niantic一直致力于发展全球规模的3D地图 , 并在《精灵宝可梦Go》和《Ingress》游戏中鼓励玩家上传AR地图扫描数据 , 以换取游戏奖励 。 这些收集到的3D场景数据不仅可以用来构建3D地图 , 还可以用来优化LBSAR体验 。
目前 , Niantic在移动端有大量用户 , 其表示:为了让更多人使用AR , 我们将重点放在人们常用的智能手机设备上 , 而不是去等待AR眼镜成熟 。 因此 , 通过《精灵宝可梦Go》等LBSAR游戏 , Niantic在全球吸引了数千万玩家 , 下载次数超过10亿 。
低门槛3D扫描
论文中指出 , ManyDepth可以让普通智能手机也能扫描3D地图 , 如此一来用户上传3D地图可以像分享照片一样简单 。 同时 , Niantic的游戏玩家也可以通过上传3D地图 , 来扩大和优化LBSAR游戏的地图 。
文章图片
我们知道 , 通常3D场景扫描效果依赖于LiDAR、ToF等高端的3D摄像头传感器 , 而普通智能手机通常仅配备拍摄2D图像的摄像头 。 为了让3D场景扫描在大多数智能手机上普及 , 从而扩大3D地图数据库 , Niantic研发了ManyDepth方案 。
就像人眼感知物体远近那样 , 通常摄像头也需要两个或以上 , 通过对比两颗“眼睛”获取的图像差异 , 来推算3D距离和层次感(距离与视差成反比) 。 而为了降低3D扫描的成本 , 更理想的方案是通过单目摄像头来完成3D测距 。
目前市面上已有基于单目RGB摄像头的3D测距方案 , 而ManyDepth在此基础上进一步提升性能 , 号称可达到接近基于专业深度传感或多目测距方案的效果 。 科研人员在论文中写到:自我监督的单眼深度预测网络可通过相邻的图像帧来预测场景深度 , 并将相邻图像帧作为监督信号 。 而ManyDepth则采用自适应的方式 , 将视频帧的序列信息作为额外的监督信号 , 提升深度预测的准确性 。
【Niantic优化3D测距技术,单目摄像头也能扫描3D场景】换句话说 , 此前的单目方案通过单一图像帧预测3D数据 , 而ManyDepth将结合额外的相邻图像帧进行训练和测试 。
简单来讲 , ManyDepth基于机器学习技术 , 可通过单个或多个2D图像来推测3D图形和深度 , 让普通智能手机可以通过单颗RGB摄像头生成3D数据 。 也就是一种基于单颗摄像头、自我监督的多帧3D深度预测算法 。 此外 , 当你移动手机摄像头动态捕捉场景时 , ManyDepth的神经网络也将持续优化3D深度地图 。
- TiDB 高级系统管理笔记:sql优化
- 百度|公司网站SEO优化是要一直发文章吗|壹站传媒
- 一加科技|一加10 Pro正式发布:4699元起,辨识度拉满,优化很强!你买么?
- NVIDIA|NVIDIA 511.23版驱动带来DLDSR画质技术:无需游戏优化
- 【助力优化营商环境】如未办理数字证书,可以这样办理社保业务!
- [汽车之家 新鲜技术解读] 随着科技的发展速度越来越快|岚图FREE整车OTA 细节处理有待优化
- 宝贝|启中教育:打造爆款如何优化及运营?
- 转化率|优化电商平台的客户体验旅程,以提高转化率
- 百度|百度SEO排名因素怎么优化某个词库关键词排名?
- 智慧销售|国务院:加快优化智能化产品和服务运营,培育智慧销售、无人配送、智能制造、反向定制等新增长点