xAI 开源发布 Grok-1：314B 参数 MoE 大语言模型

xAI 以 Apache 2.0 协议开源了 Grok-1 的基础模型权重与网络架构。Grok-1 是一个 314B 参数的 Mixture-of-Experts 模型，每个 token 激活 25% 的权重，由 xAI 基于 JAX 与 Rust 自研训练栈从零训练，预训练于 2023 年 10 月完成，属于未经对话等特定任务微调的原始 base checkpoint。