7月1日,X平台博主Beff-e /acc发帖表示,“当下的模型在彼此的数据上进行训练,如同人体蜈蚣效应一样”。很快,马斯克回复其称,“很遗憾,事实的确如此,从互联网训练数据中除去大语言模型需要大量的工作”。
在回帖中,马斯克直接爆料xAI的大语言模型Grok 2将于8月推出。并且在数据训练方面将有大跨步:
“会大幅改进现阶段普遍存在的「人体蜈蚣效应」问题,减少LLM训练数据的重叠、对数据进行更多的整理。”
若Grok-2真的能够打破这一模式,这对于AI来说是一个巨大的进步。
马克思还透露Grok-3会在今年年底启动,将投入40亿美元购买10万个H100 GPU进行训练,表明在计算资源上的重大投资。
“经过10万个(Nvidia H100芯片)训练的Grok 3年底应该会非常特别。”马斯克发帖说,暗示AI能力的飞跃,可能会重新定义聊天机器人的格局。
H100 GPU作为AI的关键组件、硅谷的热门商品,据估计每块成本在3万到4万美元之间,按照市场价格进行估算Grok 3正在价值50亿美元左右的人工智能芯片上接受训练。当然,不排除马克思的十位数订单会拿到团购价。
不过目前还不清楚这些芯片是否是xAI直接购买的,从云服务提供商那里租用GPU计算也是可能的。毕竟GPU租赁是一个非常具有性价比的选择。
算力云(算力X)励志做“最具性价比”的算力租用平台,为用户提供了灵活的租期选择,短期用户可选择按分钟计费的模式,用多少扣多少,也为长期有算力需求的用户推出了非常划算的「包月套餐」,在原有的低价基础上再进行折扣。
算力租赁平台-算力云(suanlix.com )
目前平台可提供GPU云主机,CPU云主机等算力产品的租赁服务,RTX3090、RTX4090等热门显卡均已上架,可用于AI训练推理、AI绘画、深度学习及游戏等。
The Information在5月份报道称,马斯克的xAI初创公司正在与甲骨文公司洽谈,准备斥资100亿美元租用云服务器。而且近几年xAI确实也购入了大量的H100 GPU。
可想而知,基于10万个GPU训练的Grok 3将比Grok 2更上一层楼。
不过,10万个GPU对于科技巨头们来说,并不是最高的。Mark Zuckerber今年1月表示,到2024年底,Meta将购买约35万个英伟达H100 GPU。加上已拥有的其他GPU,Meta已拥有约60万个芯片。这么一算,需要花费约180亿美元打造AI芯片。
科技巨头们的相继发力也证明了:AI的核心是掌握算力,要想掌握数据,就得掌握运行数据芯片。
以上是算力租赁平台-算力云本期的全部内容,欢迎评论区留言。