PyTorch 2.0 发布,一行代码将训练提速 76%!
文章图片
在PyTorchConference2022上 , PyTorch官方正式发布了PyTorch2.0 , 与先前的1.x版本相比 , 2.0中有了跨越式的变化 。
译者|刘春霖责编|杨紫艳
出品|CSDN(ID:csdnnews)
在11月初 , PyTorch团队在官方博客宣布Pytorch1.13发布 。 据官方介绍 , PyTorch1.13中包括了BetterTransformer的稳定版 , 且不再支持CUDA10.2及11.3 , 并完成了向CUDA11.6及11.7的迁移 。 此外Beta版还增加了对AppleM1芯片及functorch的支持 。 令人意外的是 , 12月2日 , PyTorch2.0正式发布!与先前的1.x版本相比 , 2.0中有了跨越式的变化 。 PyTorch2.0中发布了大量足以改变PyTorch使用方式的新功能 , 它提供了相同的eagermode和用户体验 , 同时通过torch.compile增加了一个编译模式 , 在训练和推理过程中可以对模型进行加速 , 从而提供更佳的性能和对DynamicShapes及分布式运行的支持 。 PyTorch团队表示 , PyTorch2.0是他们向2.x系列迈出的第一步 , 其稳定版预计在2023年3月初发布 。
文章图片
PyTorch2.x:更快、更Python!
PyTorch2.0官宣了一个重要特性——torch.compile , 这一特性将PyTorch的性能推向了新的高度 , 并将PyTorch的部分内容从C++移回Python 。 torch.compile是一个完全附加的(可选的)特性 , 因此PyTorch2.0是100%向后兼容的 。
支撑torch.compile的技术包括研发团队新推出的TorchDynamo、AOTAutograd、PrimTorch和TorchInductor 。
TorchDynamo:使用PythonFrameEvaluationHooks安全地捕获PyTorch程序 , 这项重大创新是PyTorch过去5年来在安全图结构捕获方面的研发成果汇总;
AOTAutograd:重载PyTorch的autograd引擎 , 作为一个跟踪autodiff , 用于生成ahead-of-time向后跟踪;
PrimTorch:将约2000多个PyTorch算子归纳为一组约250个原始算子的闭集 , 开发人员可以将其作为构建完整PyTorch后端的目标 。 这大大降低了编写PyTorch功能或后端的流程;
TorchInductor:是一种深度学习编译器 , 可为多个加速器和后端生成快速代码 。 对于NVIDIAGPU , 它使用OpenAITriton作为关键构建块 。
TorchDynamo、AOTAutograd、PrimTorch和TorchInductor是用Python编写的 , 并支持dynamicshapes(无需重新编译就能发送不同大小的向量) , 这使得它们具备灵活、易于破解的特性 , 降低了开发人员和供应商的使用门槛 。
为了验证这些技术 , 研发团队在机器学习领域测试了163个开源模型 , 包括图像分类、目标检测、图像生成等、NLP任务 , 如语言建模、问答、序列分类、推荐系统和强化学习任务 , 测试模型主要有3个来源:
46个来自HuggingFaceTransformers的模型;
来自TIMM的61个模型:由RossWightman收集的SOTAPyTorch图像模型;
来自TorchBench的56个模型:包含来自Github上收集的一组流行代码库 。
对于开源模型 , PyTorch官方没有进行修改 , 只是增加了一个torch.compile调用来进行封装
接下来PyTorch工程师在这些模型中测量速度并验证精度 , 由于加速可能取决于数据类型 , 因此研究团队选择测量Float32和自动混合精度(AMP)的加速 。
在163个开源模型中 , 该团队发现使用2.0可以将训练速度提高38-76% 。 torch.compile在93%的情况下都有效 , 模型在NVIDIAA100GPU上的训练速度提高了43% 。 在Float32精度下 , 它的平均运行速度提高了21% , 而在AMP精度下 , 它的运行速度平均提高了51% 。
文章图片
目前 , torch.compile还处于早期开发阶段 , 预计2023年3月上旬将发布第一个稳定的2.0版本 。 在官方博客中 , PyTorch团队还公布了他们对于整个2.0系列的展望:开发背景
- 索尼|索尼WF-1000XM4降噪豆发布新固件:电量衰减问题终于解决了
- 华为荣耀|MagicOS正式发布,荣耀软硬实力兼备竞速突围
- 小米科技|已经官宣的骁龙8Gen2旗舰,vivo小米各一款,同天发布谁更胜一筹
- |鲁大师公布11月新发布安卓手机流畅榜,OPPO第一,华为折叠屏垫底
- 华为冬季新品发布会|华为冬季发布会延迟定档12月9日,手机、手表等新品蓄势待发
- 小米科技|小米13究竟什么时候发布,预售平台泄露了秘密
- 三星Galaxy|三星坐不住了?Galaxy S23系列提前到12月发布,冲击国产品牌
- vivo|vivo TWS 3系列正式发布:标准版与Pro版有何不同?
- 锐龙|华为发布会新品来袭
- 云计算春晚:AIGC独角兽官宣联手,支持千亿大模型的云实例发布