主题：马斯克开源Grok-1 迄今最大参数模型



中国证券报
当地时间3月17日，埃隆·马斯克的人工智能公司xAI开源Grok-1的基本模型权重和网络架构，该模型是社交媒体平台X上Grok聊天机器人的基础。

据xAI介绍，Grok-1是一个3140亿个参数的预训练模型，“没有针对任何特定任务进行微调”。这使得Grok-1成为当前参数量最大的开源大语言模型。

据介绍，目前开源的网络架构部分包括如何安排和连接各层和节点来处理数据。基本模型权重是某个特定模型的架构中的参数，这些参数在训练期间已经过调整，编码学习到的信息，并决定如何将输入数据转换成输出。

技术分析师认为，与Gemma和Llama等一些使用方面有限制的开源版本模型不同，Grok的开源版本提供了对底层技术的广泛访问。然而，它的全面透明度方面又不如Pythia、Bloom和 OLMo等模型，这些模型包括训练代码和用于训练模型的数据集。

【免责声明】上海大牛网络科技有限公司仅合法经营金融岛网络平台，从未开展任何咨询、委托理财业务。任何人的文章、言论仅代表其本人观点，与金融岛无关。金融岛对任何陈述、观点、判断保持中立，不对其准确性、可靠性或完整性提供任何明确或暗示的保证。股市有风险，请读者仅作参考，并请自行承担相应责任。