AI竞争新态势:数据成核心,Grok 3等模型搅局

AI快讯1小时前发布 niko
0 0
AiPPT - 一键生成ppt

上周末,美国著名TMT投资人GavinBaker在社交媒体X上发布的一条关于“未来AI竞争趋势”的推文引发马斯克关注并获其“手动点赞”。很巧的是,马斯克旗下的xAI也于上周正式推出了Grok3大模型。

马斯克对该推文评论“分析得很好”。那么,Gavin Baker究竟表达了什么关键内容呢?

AI产业格局变革加速,数据成竞争核心

Baker认为,AI产业格局的变革正不断提速,OpenAI在未来的领先优势会逐渐缩小。未来,数据将成为竞争的核心要素,无法获取独特、有价值数据的前沿模型将成为贬值极快的资产。像谷歌、Meta等巨头可凭借垄断数据构建自身“护城河”。

回顾AI发展历程,从2022年夏季到2024年春季,OpenAI处于领先地位,不过后来谷歌和AnthroPic追赶上了GPT -4。凭借先发优势以及对传统预训练“Scaling Law”的积极投入,OpenAI占据主导地位长达逾7个季度。

Scaling Law优势窗口渐闭

ScalingLaw即尺度定律,被业界视作大模型预训练的第一性原理。在机器学习领域,尤其是大型语言模型方面,模型性能与模型规模(如参数数量)、训练数据集大小以及训练所用计算资源间存在可预测关系。然而,Baker指出,“ScalingLaw”的优势窗口正在关闭。

如今,Google的gemini、xAI的Grok – 3,以及DeepSeek的最新模型,都已达到与GPT -4相近的技术水平。OpenAI创始人奥尔特曼、微软CEO纳德拉也都表达了OpenAI领先优势变窄的观点。此前微软因预训练边际效益递减,叫停160亿美元升级预训练基础设施方案,转而专注为OpenAI提供推理算力获取收益,这一举措也被Baker认为预示着单纯依靠规模扩张的“预训练时代”走向终结。

“独一无二”数据成决胜关键

在大模型不断涌现、模型架构差异不大的当下,Baker觉得“独一无二”的数据资源才是决定胜负的关键。谷歌和Xai拥有独特且有价值的数据来源,这将使它们与Deepseek、OpenAI和Anthropic拉开差距。

Baker多次引用EricVishria的话,称无法获得独特、有价值数据的前沿模型是史上贬值最快的资产,大模型蒸馏也会放大这一情况。大模型蒸馏简单说就是把复杂大模型的知识迁移到较小模型中。他还指出,若未来前沿模型无法接触YouTube、X、TeslaVision、Instagram和Facebook等独特有价值的数据,可能毫无投资回报率,独特数据将成预训练大规模模型差异化和投资回报率的唯一基础。

AI计算格局变化

Baker总结,若上述观点正确,巨型数据中心只需2 -3个,推理所需算力占95%。AI计算其余部分为较小数据中心,在地理空间上优化以实现低延迟和/或低成本效益推理。成本效益推理意味着更便宜的电力,基于量化压缩技术支撑低成本推理。与以往预训练和推理阶段计算资源分配各占一半不同,现在预训练占5%,推理阶段占95%,卓越的基础设施变得尤为重要。最后他提到,若OpenAI5年后仍是领域领导者,可能得益于先发、规模优势及产品影响力。

© 版权声明
智谱清言 - 国产最强AI模型