meta|首次开源这一强大算法，我们向Meta致敬( 二 ) 算法|Google|openai

另一方面， “开源”的优势在于利用集体力量来解决问题，因此长期被硅谷的有识之士所倡导——更多人参与进来，技术突破便来得越快，漏洞便填得越快。
尽管大部分人几乎只记住了GPT3（因为它是迄今为止最好的“通才”），实际上，除了Meta ，谷歌、微软都曾在2020年都推出过相似的大模型，但由于都是“关起家门”做私密研究，因此在“透明度”方面饱受诟病。
譬如， 2021年的“谷歌人工智能伦理学科学家辞退事件”便引发了长达一年的“批判海啸” ，而这一切都是因一篇探讨“语言大模型暗藏重大隐患”的论文而起。
被谷歌无理辞退的人工智能伦理科学家Timnit Gebru
没错， GPT3们不仅缺陷多多，而且非常致命。尽管多数责任应归咎背后的人类文本。
创业公司 Latitude 曾在2019年推出过一款基于GPT3开发的半开放冒险游戏 AI Dungeon 。但没想到，随着用户增多， OpenAI监测到，有玩家竟然利用这项高阶技术，自发生成儿童性爱场景。
虽然用户利用GPT3生成的污言秽语也曾遭遇过广泛抨击，但这件事仍然让大众哗然。这也是外界第一次意识到， GPT3这类大模型更为深刻的阴暗面。因此， Latitude增加了审核系统，但却引发了与用户体验相关的一系列麻烦。
AI Dungeon游戏界面
然而， “越是危险，越不能回避危险” 。这也是Facebook自称选择开放的关键原因之一。
Meta AI 负责人Joelle Pineau承认，团队解决不了所有问题，包括文本生成过程中的伦理偏见和恶毒词句。因此，他们诚邀天下豪杰，共同学习；而实际上，这也是一种彼此监督。
“我认为，建立信任的唯一途径是极端透明。 ”
我们查看了Meta提供的下载通道，发现实验室根据每个模型的参数规模设立了不同的下载条件：300亿参数以下可随意；而1750亿参数值模型，也就是与GPT3大小相同的OPT ，则需要填写申请表证明用于非商业用途，获得批准后方可下载。
翻过大山，仍然是山
当然，理论上这个做法是可圈可点的，但一个更大的问题出现了：如果你要使用这个1750亿参数值的大模型，就意味着你的计算机要带得动它。
换句话说，你需要拥有足够的算力，这里可以直接换算成“财力” 。
“一个参数如果是FP32 ，也就是4个字节大小。而1750亿参数值则先相当于7000亿字节，大约700G显存空间。而现在一张普通显卡是20GB 。 ” 一个开发者向虎嗅称赞了Meta的做法，但他认为，对于普通开发者群体，该模型仍然是不可承受之重。
“虽然可以把不同参数放在不同显卡里的框架里，但据个人体验，目前仍然欠缺开源成熟的框架。 ”
因此，截至目前，这个开源大模型，仍然是属于大型科技公司、拥有充足资金的大型实验室与学术机构的“内部游戏” 。
曾有家尝试做中国版GPT3的创业公司叹息说，他们也在想方设法实现GPT3可以实现的文字能力，但的确掣肘于有限算力。
事实上，除了巨头， GPT3一直难以解决的商业化难题，是让绝大部分企业呈观望之势的根本原因。尽管大型语言模型已成为过去几年来人工智能领域最热门的趋势之一。但至少目前来看，除了品牌营销优势， OpenAI 的投入产出比，很不尽如人意。
图片来自MIT
此外，在西方社会普遍认知中，比起技术突破，它们带来的巨量能源消耗更是一种原罪。
科学家Emma Strubell与合作者在2019年发表的论文，就揭露了大型语言模型在碳排放上超乎想象的环境破坏力（上图）。