对比学习引领弱标签学习新SOTA,浙大新研究入选ICLR Oral( 三 )


对比学习引领弱标签学习新SOTA,浙大新研究入选ICLR Oral】实验结果
主要结果
在展开理论分析之前 , 研究者首先看一下PiCO优异的实验效果 。 首先是在CIFAR-10、CIFAR-100上的结果 , 其中 , 表示每个NegativeLabel成为候选标签的概率 。
对比学习引领弱标签学习新SOTA,浙大新研究入选ICLR Oral
文章图片
如上图 , PiCO达到了十分出色的实验结果 , 在两个数据集、不同程度的歧义下(对应的大小) , 均取得了SOTA的结果 。 值得注意的是 , 之前的工作[5][6]均只探讨了标签量较小的情况() , 研究者在CIFAR-100上的结果表明 , 即使在标签空间较大 , PiCO依然具有十分优越良好的性能 。 最后 , 值得注意的是 , 当相对较小的时候 , PiCO甚至达到了接近全监督的结果!
表征学习
除此之外 , 研究者还可视化了不同方法学习到的表征 , 可以看到Uniform标签导致了模糊的表征 , PRODEN方法学习到的簇则存在重叠 , 无法完全分离 。 相比之下 , PiCO学习的表征更紧凑 , 更具辨识度 。
对比学习引领弱标签学习新SOTA,浙大新研究入选ICLR Oral
文章图片
消融实验
最后 , 研究者展示不同的模块对实验结果的影响 , 可以看到 , 标签消歧模块和对比学习模块都会带来非常明显的性能提升 , 消融其中一个会带来的性能下降 。 更多的实验结果请详见原论文 。