联邦学习前路如何？杨强：已到“合久必分”的状态衡宇金磊发自凹非寺量子位|公

衡宇金磊发自凹非寺
量子位|公众号QbitAI
2022年，联邦学习论文数量出现大幅跃升，成为了屡登顶会的香饽饽：
NeurIPS发布联邦学习论文41篇，较前一年有近30%的增长幅度；ICML则在2022年收录联邦学习论文74篇，几乎成倍于2021年。
这个规律同样存在于顶会AAAI、AISTATS、KDD及CVPR中。

文章图片
联邦学习论文在顶会频现，相应的，相关产业实践也进行得如火如荼。
这个现象的最好解答者，自然是联邦学习领域的国内最知名大牛：香港科技大学计算机与工程系讲座教授和前系主任、中国人工智能学会（CAAI）荣誉副理事长、微众银行首席人工智能官杨强教授。
不仅因为他是CAAI ， AAAI ， ACM ， IEEE ， AAAS等多个国际学会Fellow ，能够解惑一二。
更能激起求知欲的是，这些联邦学习论文中，有多篇与他带领的团队有关联。

文章图片
△杨强
今年，他在微众银行带领的AI团队，与上海交通大学、中山大学等机构联合撰写了3篇联邦学习领域论文。
这3篇论文，以一作身份，被IJCAI2022、TPAMI2022、ACMTIST国际人工智能顶级学术期刊和顶级学术会议收录发表。
可信联邦学习，走的是一条怎样的路？2018年，国内引进了联邦学习（FederatedLearning）概念。
为了解决数据割裂、数据孤岛等问题，杨强带领的微众银行AI团队在国内系统性提出联邦学习理论。
能够保证各企业在自有数据不出本地，不违规的情况下进行联合建模，提升机器学习建模效果。
而后，又于2019年开源首个工业级联邦学习技术框架FATE ，同年6月捐献给Linux基金会。

文章图片
3年时间，在联邦学习领域探索的公司如雨后春笋。
联邦学习发展空前，已在金融、医疗、互联网等领域落地应用，并延伸出图联邦学习、动态联邦学习、包容性联邦学习等研究分支。
从刚开始的2018年至2019年间， FATE和主攻横向联邦学习的TensorFlow分庭抗礼，到2019年后，众多初创公司或以FATE为内核，或推出新系统。
一路至今，用杨强的话来说，现在的联邦学习已经进入到“合久必分”的状态。
正是在此基础上，联邦学习发展出第二阶段，可信联邦学习。
联邦学习的发展和应用，一直伴随着这样的声音：
存不存在为了提高效率和性能，牺牲安全性的可能？
杨强简明扼要地解释道，绝对安全等于绝对低效，绝对高效意味着绝对不安全：“联合建模要结合安全性和可用性一起看。如果是一个极端安全的模型，安全到不能实际使用，这东西也没用。 ”
对此，论文《联邦学习中隐私与模型性能没有免费午餐定理》通过研究给出的答案是：隐私保护、模型性能、算法效率三者需要平衡，且可以平衡。
在联邦学习过程中，一个半诚实的攻击者，通过观察和了解参与方的数据信息，可能可以推断用户的隐私数据。这种针对隐私的攻击叫做“贝叶斯推断攻击（BayesianInferenceAttack）” 。

文章图片
文章从信息论的角度，为联邦学习中隐私泄露和效用损失的分析提供了一个通用框架。
这个理论框架揭示了对于满足“贝叶斯隐私”的多方计算系统而言，都满足“｜安全｜+｜效能｜≤常数”这一“安全-效益恒定定律” 。