Facebook开源Ego 4D数据集，3000小时第一人视角视频，向AR元宇宙跃进( 二 ) 智东西编译|程茜编辑|李水青智

1、情景记忆（Episodicmemory）：什么时候发生的（例如， “我把钥匙放哪儿了？”）
【Facebook开源Ego 4D数据集，3000小时第一人视角视频，向AR元宇宙跃进】2、预测（Forecasting）：接下来我可能会做什么（例如， “等等，你已经在这个食谱中加了盐”）
3、手和物体操作（Handandobjectmanipulation）：我在做什么（例如， “教我如何打鼓”）
4、视听日记（Audio-visualdiarization）：谁在什么时候说什么（例如， “课堂上的主要话题是什么？”）
5、社交互动（Socialinteraction）：谁在与谁互动（例如， “在这嘈杂的餐厅里帮助我更好地听到对话者的声音”）
目前， AI系统对上述问题的解决都非常困难，但创建数据集和基准测试是一种长效方法，可以刺激AI领域的发展。
事实上， ImageNet项目已经作为创建一个特定的数据集和相关的年度竞赛而存在，该项目是一个用于视觉对象识别软件研究的大型可视化数据库，通常被认为掀起了最近的AI热潮。 ImagetNet数据集由研究人员训练AI系统，对大量不同对象图片进行识别而得到的数据组成。 2012年，该比赛的获胜者使用一种特殊的深度学习方法，击败了竞争对手，开启了当前的研究时代。
Facebook希望其Ego4D项目能够对AR领域产生类似的影响。该公司表示，在Ego4D上训练的系统有朝一日不仅可以用于可穿戴相机，还可以用于家庭助理机器人，这些机器人也将依靠第一人称相机来分析周围世界。
“该项目有机会以一种尚未真正实现的方式，对该领域的工作起到促进作用。 ”格劳曼说， “为了将我们的领域从分析人类拍摄的大量照片和视频的能力，转移到这种流动的、持续的第一人称视觉流， AR系统、机器人需要在连续的背景下理解活动。 ”
四、Facebook“黑料”频出，数据隐私引争议
Facebook不断探索AI领域，开发人工智能监控系统。尽管Facebook概述的任务确实看起来很实用，但该公司在这一领域的继续探索会让很多人感到担忧。
原因在于Facebook在隐私方面的记录非常糟糕，曾经发生过数据泄露事件，并收到联邦贸易委员会（FTC）对其50亿美元的罚款。它还反复表明，该公司在许多领域只重视增长和参与，而不是用户的利益。
令人担忧的是，这个Ego4D项目中的基准不包括突出的隐私保护措施。例如， “视听日记”功能可以转录不同人所说的内容，从未提及删除有关不想被记录的人的数据。
当被问及这些问题时， Facebook的一位发言人在接受外媒TheVerge采访时表示，它预计将进一步引入隐私保护措施。发言人说：“我们预计，在公司使用此数据集和基准开发商业应用程序的范围内，他们将为此类应用程序开发保护措施。例如，在AR眼镜可以增强某人的声音之前，他们可能会遵循一个协议来征求其他人的眼镜许可，或者他们可以限制设备的范围，使其只能从正在与佩戴者交谈或在其附近的人那里接收声音。 ”
但到目前为止，此类保障措施仍只是假设性的。
结语：Facebook大步迈向元宇宙
Facebook以第一人称视频数据训练人工智能模型，有望开辟新的具有沉浸式甚至是自我意识的AI ，从而应用在AR、机器人等领域。结合其今年以来对元宇宙的推崇，可以想象这个非商业化的项目日后可能发挥更大的商业价值。
值得一提的是，用户隐私与数据分析的界限如何把握， Facebook将AI系统落地时如何让用户信赖，能够让更多用户参与其中，这是横跨在Facebook与发展AI系统面前的鸿沟。