文章图片
目标检测与分割：如表3所示 ， 在这一任务上 ， PeCo获得了最好的性能：

文章图片
感知Codebook分析
码字语义：学习的感知码字是否具有（更多）语义含义？为了回答这个问题 ， 该研究设计实验以提供视觉和定量结果 。
首先 ， 该研究将对应于相同码字的图像patch进行可视化 ， 并与两个基线进行比较：在2.5亿私有数据上训练而成的DALL-Ecodebook；不使用感知相似性的PeCo模型的一个变体 。 结果如图3所示 ， 我们可以看到该研究码字与语义高度相关 ， 如图中所示的轮子 ， 来自基线的码字通常与低级信息（如纹理、颜色、边缘）相关 。

文章图片
此外 ， 该研究还与不使用感知相似性的变体进行了比较 。 如表4所示 ， 我们可以发现感知码字在线性评估和重构图像分类方面获得了更高的准确率 。 这表明感知codebook具有更多的语义意义 ， 有利于图像重构过程 。

文章图片
下图为使用BEiT和PeCo在ImageNet-1k上重构任务的示例 。 对于每个样本 ， 第一张是原始图像 ， 第二张是对应的掩码图像 ， 第三张是BEiT重构图像 ， 最后一张是从感知codebook（PeCo）重构的图像 。 PeCo在感知codebook的帮助下 ， 能够对掩码区域进行更语义化的预测 。

文章图片

• ktv|KTV瞄准老年人
• 董秘|丝路视觉董秘回复：公司不生产3D眼镜设备
• 一加10|Pixelworks三大视觉技术加持：一加10 Pro显示颜色完美无偏差
• 机器视觉|陈湛匀教授：为什么社交媒体营销是企业营销的新突破？
• 清华大学提出DAT | DCN+Swin Transformer会碰撞出怎样的火花？
• 保单|节省60%以上的人力成本！视觉AI正在成为保险行业的“新宠儿”
• OPPO|专为色觉障碍人士打造！OPPO公开色彩视觉检测技术：辨色正确度提升80%
• 机器视觉|融资丨「微链科技」完成数千万元A轮融资，中博聚力领投
• 提供商|智能视觉解决方案提供商中科慧眼完成近3亿元B轮融资
• 大片|致敬向美好生活奔赴的每个人，微众银行联合视觉志打造走心大片