月之暗面发布开源思考模型 Kimi K2 Thinking
Kimi K2 Thinking 是月之暗面(Moonshot AI)发布的开源思考模型,采用 MoE 架构,总参数 1T、激活 32B,原生支持 256k 上下文与 INT4 量化推理。
推荐理由:给出了K2 Thinking在推理、Agent搜索和代码任务上与GPT-5等多款主流模型的对照成绩,便于横向比较当前开源思考模型的水平。
技术方向
开放权重、能下载下来自己部署的模型,开源框架与 GitHub 上爆火的 AI 项目。
342 条精选近 30 天 305 条共收录 384 条
Kimi K2 Thinking 是月之暗面(Moonshot AI)发布的开源思考模型,采用 MoE 架构,总参数 1T、激活 32B,原生支持 256k 上下文与 INT4 量化推理。
推荐理由:给出了K2 Thinking在推理、Agent搜索和代码任务上与GPT-5等多款主流模型的对照成绩,便于横向比较当前开源思考模型的水平。
xAI 以 Apache 2.0 协议开源 Grok-1 模型权重与网络架构,这是一个 314B 参数的 MoE 大语言模型。模型为未经任何应用(如对话)微调的原始基础检查点,2023 年 10 月由 xAI 使用基于 JAX 和 Rust 的自定义训练栈从零完成预训练,每个 token 上激活 25% 权重,权重与使用说明已在 github.com/xai-org/grok 公开。
推荐理由:xAI 以 Apache 2.0 开源 314B 参数 MoE 模型 Grok-1 的基础权重与架构,读者可以据此了解该模型在 MoE 设计与预训练工程上的具体做法。