gpt-4|GPT-4参数将达10兆!此表格预测全新语言模型参数将是GPT-3的57倍( 二 )


这么看来,确实可以期待一下和GPT-3相同规模的GPT-NeoX的表现了。
网友评论
GPT-4怎么这么大?
「GPT-3已经接近理论上每个token的最大效率了。如果OpenAI模型的工作方式是正确的,更大的模型只是对算力的浪费。」
gpt-4|GPT-4参数将达10兆!此表格预测全新语言模型参数将是GPT-3的57倍
文章插图
有网友解答说:「规模确实可以带来改善。因为本质上是一种关系隐喻模型,『了解更多的关系 』意味着能够对更多的事情或以更细微的方式做出反应。当然,这也同时是一个营销的方式。」
gpt-4|GPT-4参数将达10兆!此表格预测全新语言模型参数将是GPT-3的57倍
文章插图
参考资料:
https://lifearchitect.com.au/ai/models/#contents