淄博裸金属,安康云主机_
【ITBEAR科技资讯】3月31日消息,近日,Databricks发布了一款全新的通用大语言模型DBRX,被誉为“当前最强开源AI”。据悉,在各种严格的基准测试中,该模型的表现均超越了“市面上所有的开源模型”。
DBRX是一款基于Transformer架构的大语言模型,它采用了先进的MoE(Mixture of Experts)技术,并配备了惊人的1320亿个参数。更该模型在庞大的12T Token源数据上进行了深入的预训练。
据ITBEAR科技资讯了解,研究人员对DBRX进行了全面的测试。与LLaMA2-70B、Mixtral、Grok-1等市场上主流的开源模型相比,DBRX在语言理解(MMLU)、程式设计(Humaneval)以及数学逻辑(GSM8K)等多个关键基准测试上均展现出了卓越的性能。DBRX在上述三项基准测试中的表现甚至超越了行业巨头OpenAI的GPT-3.5。
Databricks AI部门副总裁Naveen Rao向知名科技媒体TechCrunch透露,DBRX的研发过程历时两个月,并投入了高达1000万美元的成本。虽然DBRX在各项测试中取得了令人瞩目的成绩,但目前该模型仍需要使用四块英伟达H100 GPU才能运行,这意味着在未来仍有进一步的优化空间。
声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。