Wi-Fi|千万别在有WiFi的房间里摆这种姿势( 二 )


文章图片

具体来说 , 模型通过三个分量从WiFi信号中生成人体表面的UV坐标 。
首先 , 通过振幅和相位Sanitization步骤对原始CSI信号进行“净化”处理 。
Wi-Fi|千万别在有WiFi的房间里摆这种姿势
文章图片

然后 , 将处理过的CSI信号通过双分支编码器-解码器网络转换为2D特征图 。
Wi-Fi|千万别在有WiFi的房间里摆这种姿势
文章图片

接着 , 将2D特征馈送到一个叫做DensePose RCNN的架构中 。
该架构灵感就来自Facebook已经开源的人体姿势实时识别系统DensePose 。DensePose入选了2018年CVPR的Oral环节 , 主要是把2D图像转换成3D人体模型 。
所以这步的目的就是算出2D特征图对应的3D姿态 , 也就是估计出UV坐标 。
Wi-Fi|千万别在有WiFi的房间里摆这种姿势
文章图片

最后 , 在训练主网络之前 , 作者还将用图像生成的多层次特征图与WiFi信号生成的多水平特征图之间的差异进行了最小化 , 进一步完善了最终结果 。
Wi-Fi|千万别在有WiFi的房间里摆这种姿势
文章图片

尽管我们从肉眼看上去 , 两种方法的最终结果差不多 , 但在数据方面 , 基于图像的方法效果还是更好一些 。
比如在同样环境布局下 , 基于WiFi方法的精确度都低于图像方法 。
Wi-Fi|千万别在有WiFi的房间里摆这种姿势
文章图片

△数值越高意味着越好
不同环境布局的情况也是如此 。
Wi-Fi|千万别在有WiFi的房间里摆这种姿势
文章图片

与此同时 , 如果遇到数据集中不包含的动作 , 该方法也无法识别成功 。如果人数超过3个 , 也发生“丢人”情况 。
下图中左边两幅是罕见动作失败案例 , 右边两幅是3人以上识别失败情况 。
不过团队认为 , 如上问题可以通过进一步扩充数据集来解决 。
除此之外 , 该方法对路由器的放置位置要求很高 , 并且会对其他WiFi网络造成影响 。
来自CMU团队 , 有2位华人作者
论文一作为Jiaqi Geng , 他来自卡耐基梅隆大学 , 去年8月获得了机器人专业硕士学位 。
另一位华人作者是Dong Huang , 他现在是卡耐基梅隆大学高级项目科学家 。
他的研究方向一直都是利用深度学习进行信号识别 。比如之前已经实现了用WiFi信号实时识别2D人体姿态 。
最后一位作者是Fernando De la Torre , 他现在卡耐基梅隆大学机器人研究所副教授 。
他的研究方向主要为计算机视觉 , 涉及领域包括人体姿态识别、AR/VR等 。
2014年曾创办过一家开发人脸识别技术的公司FacioMetrics LLC , 2年后被Facebook收购 。
作者团队表示 , 目前该方法性能还受限于可用来训练的数据不多 , 未来 , 他们计划扩充数据集 。