自2018年谷歌发布BERT以来|预训练大模型的优势( 二 ) 自2018年谷歌发布BERT以来

究竟什么是好的大模型？
在这场battle里，大模型向着规模极致化的方向发展。那么如何衡量大模型的能力，是一个绕不开的话题。衡量大模型能力的关键要素是，参数的规模和与细分行业结合对接的软硬件协同能力。我们在各种新闻中经常可以看到，机构或者是企业用数据集或者是参数规模，以及跑分来彰显自己的模型水平。
参数的规模决定了预训练模型有多大。参数越大一般来说意味着大模型具备更多的能力，泛化性、通用性也更加强。成功的大模型背后，还需要大规模分布式训练、并行计算、软硬件协同优化等能力。

文章图片
脑极体曾在GPT-3最火的时候，参与过一次试验：用GPT-3写个文章出来。我们给第三方提供了一些写作的思路，想要看一下机器写出来的效果怎么样（其实是想看看自己离失业还有多久）。结果得到的反馈是GPT-3在理解能力方面很牛很强，但是让它去生产一篇稿件，对于它来说还是比较复杂而且困难的一件事情。
另外，排队等待使用的企业过多，间次使用等待的时间过长，，并且稿件本身也需要好几天才能完成。看似一个简单的写稿需求，对无所不能的GPT-3来说应该是小case ，结果无疾而终。存在类似小需求的企业应该还是有很多，而这些需求都需要排队等待调用大量的算力，并且磨几天才能产出，而花时间花钱结果还存疑。当时行业里最好的大模型落地都如此艰难，大模型的落地还是有点不理想。
好的大模型不仅仅需要模型、算力等本身性能方面强劲，关键也需要看与某垂直行业结合时产品化落地的能力是否实用。落地的大模型需要解决一些行业具体的问题，与行业结合时二次开发、对接的成本尽可能地小，否则它强势的性能也只是空中楼阁，中看不中用。大模型需要工程落地的能力，从而打开更多的边界，让更多领域和企业来使用。
大模型的未来趋势
从产业价值的角度来看，预训练大模型带来了一系列可能性，让产学研各界看到了由弱人工智能走向强人工智能，走向工业化、集成化智能化的路径。在这样的驱动背景下，大模型也会有一些可预见的趋势与发展。
1.我们知道事物的发展规律是优胜劣汏，在竞争的角逐中，一些标榜独特性的小众模型的泛化能力差，越独特可能也就意味着越小众，使用的范围十分有限，可能会逐渐走向消亡。
2.崛起的大模型不仅仅是泛化性、落地能力强，创新性强、训练数据规模大，也需要具备不断生长革新的能力，也就是自我进化、智能化的能力。大模型的未来需要创新，也需要自我生长，向可持续、可进化的方向发展，架构上的革新会让模型更加高效。
3.大模型能力的端侧化， “芯片化” 。将模型的一些运算存储等能力像芯片一样固化在一些端侧硬件设备中，在使用的过程中不用在重装的模型中耗时调用算力与数据，可以实现随时调用随时使用。现下的模型多是重装大模型，使用的话需要调用庞大的算力和运行时间，未来的大模型会逐渐改变这种模式。
4.大模型的标准化与模块化发展。大模型的评估未来会有标准化成熟的体系来衡量，这个体系也会是行业内公认的标准，用这个标准来衡量大模型的优劣而不是现下自卖自夸式的标榜。

文章图片
目前我们在各大榜单上看到的分数来自于大型的数据集和算力模型，让开发更加容易，调试与训练的周期越来越短。但我们也知道大量的数据喂养出来的模型回报并不是百分百地正确。喂养的数据知识的极大扩展也无法保证结果的确定性，这也是大模型最大的弱点，而这也意味着对于大模型的探索需要持续的迭代发展。