Meta Reality Labs首席科学家为AR眼镜提出全新计算架构( 二 ) 查看引用/信息源请点击：Roa

亚伯拉什指出，这不仅降低了功耗，而且大大增加了传感器的动态范围（它能够在同一幅图像中捕捉昏暗和明亮的光线）。为了展示动态范围的提升，他分享了原型传感器拍摄的样本图像，并与典型传感器进行了对比。

文章图片
在左边的图像中，明亮的灯泡导致摄像头无法捕捉大部分场景。另一方面，右边的图像不仅可以看到灯泡灯丝的极端亮度细节，而且可以看到场景的其他部分。
这种宽动态范围对于未来AR眼镜的传感器至关重要，因为AR眼镜需要支持室内弱光条件，又要兼容晴天环境。
亚伯拉什表示，尽管Meta的原型传感器具有HDR的优点，但它的能效要高得多，每秒30帧的速度仅使用5兆瓦（他声称低于典型传感器的25%）。而且它的可扩展性非常优秀：尽管需要更多的能耗，但传感器可以每秒捕获480帧。
但是， Meta希望更进一步并在传感器执行更复杂的计算：“例如，眼动追踪和手部追踪等XR工作负载的深层神经网络分割和分类的浅层部分可以在传感器端实现。 ”
但他强调，在更多硬件创新出现之前（比如开发“真正的on-sensor机器学习计算”所需的超密集、低功耗内存），这不可能实现。
尽管Meta正在试验所述技术，但亚伯拉什表示整个行业都需要团结起来，从而真正实现这一目标。他特别指出：“芯片制造商对MRAM技术的开发是构建AR眼镜的关键因素。 ”
【Meta Reality Labs首席科学家为AR眼镜提出全新计算架构】他最后总结道：“在一个端到端的系统中，通过将我们提出的分布式架构和我所描述的相关技术结合在一起，其在功率、面积和形状参数方面都有巨大的改进潜力。要变得足够舒适和实用，并成为10亿人日常生活的一部分，这种提升非常有必要。 ”