国产|一块3090单挑180亿参数大模型：国产开源项目这回杀疯了( 三 ) 开源|RTX|3090|一块3090单挑180亿参

此外，Colossal-AI还能只用一半GPU数量训练GPT-3 。
相比英伟达方案，Colossal-AI仅需一半的计算资源，即可启动训练；若使用相同计算资源，则能提速11%，可降低GPT-3训练成本超百万美元。

文章图片

与此同时，Colossal-AI也非常注重开源社区建设，提供中文教程、开放用户社群论坛，根据大家的需求反馈不断更新迭代。
比如之前有读者留言说，Colossal-AI要是能在普通消费级显卡上跑就好了。

文章图片

这不，几个月后，已经安排好了~
背后团队：LAMB优化器作者尤洋领衔
看到这里，是不是觉得Colossal-AI确实值得标星关注一发？
实际上，这一国产项目背后的研发团队来头不小。
领衔者，正是LAMB优化器的提出者尤洋。

文章图片

他曾以第一名的成绩保送清华计算机系硕士研究生，后赴加州大学伯克利分校攻读CS博士学位。
拿过IPDPS/ICPP最佳论文、ACM/IEEE George Michael HPC Fellowship、福布斯30岁以下精英（亚洲 2021）、IEEE-CS超算杰出新人奖、UC伯克利EECS Lotfi A. Zadeh优秀毕业生奖。
在谷歌实习期间，凭借LAMB方法，尤洋曾打破BERT预训练世界纪录。
据英伟达官方GitHub显示，LAMB比Adam优化器快出整整72倍。微软的DeepSpeed也采用了LAMB方法。
2021年，尤洋回国创办潞晨科技——一家主营业务为分布式软件系统、大规模人工智能平台以及企业级云计算解决方案的AI初创公司。
团队的核心成员均来自美国加州大学伯克利分校、哈佛大学、斯坦福大学、芝加哥大学、清华大学、北京大学、新加坡国立大学、新加坡南洋理工大学等国内外知名高校；拥有Google Brain、IBM、Intel、 Microsoft、NVIDIA等知名厂商工作经历。
公司成立即获得创新工场、真格基金等多家顶尖VC机构种子轮投资。

文章图片

潞晨CSO Prof. James Demmel为加州大学伯克利分校杰出教授、ACM/IEEE Fellow，同时还是美国科学院、工程院、艺术与科学院三院院士。
传送门：https://github.com/hpcaitech/ColossalAI