xAI News·· 2024-03-17精选AI 评分70
xAI 以 Apache 2.0 开源 Grok-1 模型权重与架构
Open Release of Grok-1 We are releasing the weights and architecture of our 314 billion parameter Mixture-of-Experts model Grok-1. Mar 17, 2024
AI 导读
xAI 以 Apache 2.0 协议开源 Grok-1 模型权重与网络架构，这是一个 314B 参数的 MoE 大语言模型。模型为未经任何应用（如对话）微调的原始基础检查点，2023 年 10 月由 xAI 使用基于 JAX 和 Rust 的自定义训练栈从零完成预训练，每个 token 上激活 25% 权重，权重与使用说明已在 github.com/xai-org/grok 公开。
推荐理由
xAI 以 Apache 2.0 开源 314B 参数 MoE 模型 Grok-1 的基础权重与架构，读者可以据此了解该模型在 MoE 设计与预训练工程上的具体做法。
来源：xAI News · x.ai