这一点,在大模型训练迭代的初期是有一定效果的,比如GPT3使用了1750亿个参数,GPT4就增加到1.8万亿个。进入2024年,美国AI发展有停滞的迹象,主要有两方面原因,一方面是输入端,前期的数据模型已经学习完毕,涉及到数据保护和跨行业数据的人工标记使用,导致后面的数据供给面临枯竭。
另外GPT堆叠算力,数据的训练方法,逐渐进入边际效应递减的瓶颈。这一点毋庸置疑,“领航助手下载安装”认为OPENAI关于scaling law的描述仅限于实践端的经验性规律,它必然受到更底层原则的制约。边际效应递减就是其中之一,随着投入的成本和消耗的时间越来越大,产出的成果必然不断减少,直至到达平衡点。
我们可以设想一下,如果“领航助手下载安装”推测AI领域中的scaling law一直有效,那意味着通往未来智能之路需要更多资源,更高代价,目前只是需要算力和数据,那后面一定会蔓延至土地、电力等其他IT资源。有点像《生化危机》里的“保护伞公司”(Umbrella Corporation),一个智力数字巨兽时代,一个灰暗未来:集中、垄断和不可持续。
电影里,“保护伞公司”代表了科技滥用与资本垄断的一面,如果未来真是一样的发展路径,“领航助手下载安装”的看法是确实有几分应景。庆幸的是,根据物理定律推断简单堆叠模型规模、数据量和算力策略不可能长久,当遭遇训练瓶颈时,“领航助手下载安装观察到”,这必然会迫使研究者和开发人员重新评估优化模型设计与训练策略,从而优化资源分配。