机器之心专栏字节跳动-智能创作团队字节跳动 - 智能创作团队提出了一种用于学习轻量级 G...|字节跳动提出面向GAN压缩的在线多粒度蒸馏算法，算力降至1/46 机器之心专栏

机器之心专栏
字节跳动-智能创作团队
字节跳动-智能创作团队提出了一种用于学习轻量级GAN的在线多粒度蒸馏算法OMGD 。该算法能够把GAN模型的计算量减少到最低1/46、参数量减少到最低1/82的程度，并保持原来的图像生成质量。

文章图片
近年来，生成对抗网络（GAN）在图像生成、图像翻译等多种视觉应用中取得了显著成果。尽管GAN模型给图像生成带来了不同程度的提升，但大部分模型的部署都涉及巨大的计算资源和内存消耗。这成为在资源受限的移动设备或其他轻量级物联网设备上部署GAN的一个关键瓶颈。
GAN压缩方向已经成为业界的挑战之一，不少高校和科技公司对此投入研究力量。但当前的GAN压缩算法主要存在两个方面的问题：一方面，当前研究倾向于直接采用成熟的模型压缩技术来进行压缩，而这些技术不是面向GAN定制的，缺乏对GAN复杂特性和结构的探索；另一方面， GAN压缩通常被规划为一个多阶段的任务，多阶段设置中对时间和计算资源的要求较高。
为了解决上述问题，字节跳动-智能创作团队提出了一种面向GAN压缩的在线多粒度蒸馏算法（OnlineMulti-GranularityDistillation ，简称OMGD）。该算法能够把GAN模型的计算量减少到最低1/46、参数量减少到最低1/82的程度，并保持原来的图像生成质量。这为在资源受限的设备上部署实时图像翻译的GAN模型提供了一个可行的解决方案。
OMGD研究论文已入选ICCV2021 ，相关代码也已开源。

文章图片
论文链接：https://arxiv.org/abs/2108.06908
GitHub链接：https://github.com/bytedance/OMGD
引言
论文提出了一种新的在线多粒度蒸馏（OMGD）方案来获得轻量级的GAN ，以较低的计算成本生成高保真图像。 OMGD放弃了复杂的多级压缩过程，设计了一种面向GAN的在线蒸馏策略，可以一步获得压缩模型。 OMGD还从多个层次和粒度挖掘潜在的图像信息，以帮助优化压缩模型。这些概念可以看作是辅助监督线索，这对于突破低计算成本模型的容量瓶颈至关重要。

文章图片
方法

文章图片
1.在线蒸馏
论文提出了一种面向GAN的在线蒸馏算法来解决离线蒸馏中的三个关键问题：
第一，传统离线蒸馏方法中的学生生成器应保持一定的容量，以保持与鉴别器的动态平衡，避免模型崩溃和消失梯度。然而， OMGD的学生生成器仅利用教师网络的输出信息来进行优化，并且在无判别器的设定中进行训练。学生生成器不再与鉴别器紧密绑定，它可以更灵活地训练并获得进一步的压缩。具体来说，在每个迭代步骤中反向传播教师生成器和学生生成器之间的蒸馏损失。这样学生生成器可以模仿教师生成器的训练过程以逐步学习。其中蒸馏的损失函数由结构相似化损失函数和感知损失函数构成。

文章图片
第二，预先训练的教师生成器无法引导学生逐步学习信息，并且容易导致在训练阶段过度拟合。而OMGD的教师生成器有助于渐进地引导学生生成器的优化方向。
第三，对于GAN任务来说，评估指标是主观的。因此选择合适的预训练的教师生成器并非易事。而在线策略不需要一个预先训练好的教师生成器，可以避免这个问题；同时OMGD的学生生成器在优化过程中不需要使用真实标签，而仅学习教师生成器的输出，这大大降低了直接拟合真实标签的难度。