腾讯QQ浏览器2021AI算法大赛，北大冠军团队经验分享，附详细代码( 五 ) 机器之心专栏机器之心编辑部

文章图片
代码以图示为准
基于置信区间的早停方法可见我们的比赛开源代码库。
数据建模方法
对于贝叶斯优化的数据建模，我们尝试了多精度集成代理模型MFES-HB[6]拟合多精度观测数据。该方法虽然能应对低精度噪声场景，但在决赛极其有限的优化时间限制内，可能无法快速排除噪声的干扰，导致效果不如仅使用最高精度数据建模。
我们最终选择只利用最高精度数据进行建模。为了弥补早停造成的高精度数据损失，我们引入插值方法，增加用于模型训练的数据量，具体来说，就是对早停的配置，设置一个完整验证时的性能均值，插入优化历史执行建模。对于插入值的选取，我们使用已完整验证配置的最终均值中位数进行插值。
以下为插值代码示例：
defset_impute_value(self,running_suggestions,suggestion_history):value_list=[]forsuggestioninrunning_suggestions+suggestion_history:n_history=len(suggestion['reward'])ifn_history!=CONFIDENCE_N_ITERATION:continuevalue_list.append(suggestion['reward'][-1]['value'])self.impute_value=https://pcff.toutiao.jxnews.com.cn/p/20211216/np.median(value_list).item()
文章图片
代码以图示为准
总结
本文介绍了自动化超参数优化赛道的冠军方案，包括贝叶斯优化算法和早停方法。很幸运能够拿到此次比赛的冠军。感谢赛事主办方为我们提供了富有现实意义的比赛场景，让我们积累了宝贵的比赛经验和超参数优化实际经验。希望我们的分享能够对大家有所帮助。
引用
[1]黑盒优化系统OpenBox
https://github.com/PKU-DAIR/open-box
[2]自动化机器学习系统MindWare
https://github.com/PKU-DAIR/mindware
[3]比赛冠军源码
https://github.com/PKU-DAIR/2021_AIAC_Task2_1st
[4]https://github.com/automl/ConfigSpace
[5]LiamLi,KevinJamieson,AfshinRostamizadeh,EkaterinaGonina,JonathanBentzur,MoritzHardt,BenjaminRecht,andAmeetTalwalkar.2020.ASystemforMassivelyParallelHyperparameterTuning.ProceedingsofMachineLearningandSystems2(2020),230–246.
[6]YangLi,YuShen,JiaweiJiang,JinyangGao,CeZhang,andBinCui.2021.MFES-HB:EfficientHyperbandwithMulti-FidelityQualityMeasurements.InProceedingsoftheAAAIConferenceonArtificialIntelligence,Vol.35.8491–8500.
[7]YangLi,YuShen,WentaoZhang,YuanweiChen,HuaijunJiang,MingchaoLiu,JiaweiJiang,JinyangGao,WentaoWu,ZhiYang,CeZhang,andBinCui.2021.OpenBox:AGeneralizedBlack-boxOptimizationService.Proceedingsofthe27thACMSIGKDDConferenceonKnowledgeDiscovery&DataMining(2021).
[8]YangLi,YuShen,WentaoZhang,JiaweiJiang,BolinDing,YaliangLi,JingrenZhou,ZhiYang,WentaoWu,CeZhang,andBinCui.2021.VolcanoML:SpeedingupEnd-to-EndAutoMLviaScalableSearchSpaceDecomposition.ProceedingsofVLDBEndowment14(2021),2167–2176.
[9]QQ浏览器2021AI算法大赛
https://algo.browser.qq.com/