Meta Reality Labs首席科学家为AR眼镜提出全新计算架构查看引用/信息源请点击：Roa

查看引用/信息源请点击：RoadtoVR
我们需要一种全新的计算架构
（映维网Nweon2022年05月04日）在2021年年底举行的IEDM会议中， MetaRealityLabs的首席科学家迈克尔·亚伯拉什（MichaelAbrash）阐述了为实现真正AR眼镜而对计算架构提出的要求：为了将科幻作品所描述的AR眼镜变成现实，当代计算架构需要如何发展？
尽管现在市场已经出现了所谓的“AR眼镜” ，但它们依然非常笨重，或者功能不全。目前市面最优秀的AR设备HoloLens2和MagicLeap2离眼镜形态依然遥远，而且相当巨型，无法整天穿戴。
亚伯拉什表示，如果要实现真正的眼镜形态、全天续航和社会认可，行业需要“一系列根本性的进步，在某些情况下，硬件和软件都需要范式转变” 。
换句话说：Meta不认为当前的技术或任何一家厂商能够实现科幻作品所设想的概念式眼镜。但是，他们清楚这个目标需要什么。
亚伯拉什在2021年举行的IEDM2021大会中提出了一种可以满足真正AR眼镜形态需求的的计算架构思考。
1.紧盯能耗走向
重新思考计算架构的核心原因是行业需要大幅降低设备的功耗，从而满足续航和散热要求。
亚伯拉什问道：“我们如何将（移动计算设备）的能效从根本上提高100倍甚至1000倍呢？这将需要对整个堆栈进行深入的系统级重新思考，对硬件和软件进行端到端的联合设计。重新思考的起点是看看当前的能耗走向。 ”
他绘制了一张比较low-level计算操作的功耗。

文章图片
如图所示，最耗能的计算操作是数据传输。这不仅仅意味着无线数据传输，甚至意味着将数据从设备内部的一个组件传输到另一个组件。另外，将数据传输到RAM的功率是基本单元的12000倍（在本例中是将两个数字相加）。
根据右边的圆形图，对于AR非常关键SLAM和手部追踪，在RAM之间来回移动数据是能耗大户。
亚伯拉什指出：“显然，对于诸如如轻型AR眼镜这样的低功耗应用，尽可能减少数据传输量至关重要。 ”
为了实现这一点，他认为我们需要一种全新的计算架构，而不是在集中计算中心之间来回传输大量数据。我们需要更广泛地将计算操作分布在整个系统中，从而最大限度地减少浪费性的数据传输。
2.在最意想不到的地方执行计算
亚伯拉什表示，分布式计算架构的起点可以从AR眼镜感知用户周围世界所需的众多摄像头开始：在通过耗能大的数据传输通道仅发送最重要的数据之前，由摄像头传感器本身进行一定的初步计算。

文章图片
为了实现这一点，可以采用共同设计的硬件和软件，在进行硬件设计时可以考虑一个本质上是硬连接到摄像头传感器本身，并允许在任何数据离开传感器之前执行一定操作的特定算法。

文章图片
这位首席科学家指出：“对最低功耗、最佳功能和最小可能形状参数的要求，令XR传感器成为了图像传感器行业的新前沿。 ”
3.Domain-Specific传感器
他同时透露， RealityLabs已经开始了这方面的工作，甚至已经创建了一个专门为AR眼镜的低功耗高性能需求而设计的摄像头传感器原型。
所述传感器采用一组所谓的数字像素传感器，其能够在三种不同的光照水平下同时捕获每个像素的数字光值。每个像素都有自己的内存来存储数据，并且可以决定报告三个值中的哪一个，而不是将所有数据发送到另一个芯片来完成这项工作。