零样本性能超越小样本,谷歌1370亿参数新模型比GPT-3更强( 三 )


零样本性能超越小样本,谷歌1370亿参数新模型比GPT-3更强
文章图片
其他实验
由于该论文的核心问题是指令调整如何提高模型在未见过任务上的零样本性能 , 因此该研究的第一个消融实验研究了指令调整中使用的集群和任务数量对性能的影响 。
图5显示了实验结果 。 与预期一致 , 研究者观察到3个held-out集群的平均性能随着向指令调整添加额外的集群和任务而提高(情感分析集群除外) , 证实了所提指令调整方法有助于在新任务上提升零样本性能 。
零样本性能超越小样本,谷歌1370亿参数新模型比GPT-3更强
文章图片
零样本性能超越小样本,谷歌1370亿参数新模型比GPT-3更强】下图6结果表明 , 对于较大规模的模型 , 指令调整填充了一些模型容量 , 但也教会了这些模型遵循指令的能力 , 允许模型将剩余的容量泛化到新任务 。
零样本性能超越小样本,谷歌1370亿参数新模型比GPT-3更强
文章图片