xAI 发布 Grok Code Fast 1 推理模型,面向 agentic 编码工作流
xAI 发布 Grok Code Fast 1 推理模型,定位为面向 agentic 编码工作流的轻量级方案。
推荐理由:作为面向 agentic 编码的轻量模型,原文同时给出 API 定价、缓存命中率和 SWE-Bench 70.8% 分数,并附带延迟测算方法说明,便于和同类编码模型对比成本与响应速度。
内容类型
模型到底谁更强:Benchmark 评测成绩、评测方法的争议与排行榜变化。
203 条精选近 30 天 181 条共收录 236 条
xAI 发布 Grok Code Fast 1 推理模型,定位为面向 agentic 编码工作流的轻量级方案。
推荐理由:作为面向 agentic 编码的轻量模型,原文同时给出 API 定价、缓存命中率和 SWE-Bench 70.8% 分数,并附带延迟测算方法说明,便于和同类编码模型对比成本与响应速度。
xAI 发布首个多模态模型 Grok-1.5V 预览版,可处理文档、图表、截图和照片等视觉信息,将向早期测试者和现有 Grok 用户开放。
推荐理由:横向对比了 GPT-4V、Claude 3、Gemini Pro 1.5 在多模态基准上的表现,并同步开源真实空间理解基准 RealWorldQA。
xAI 发布 Grok-1.5 模型,支持 128K tokens 上下文长度,主打长上下文理解与改进的推理能力;在 MATH 上取得 50.6%(4-shot)、GSM8K 90%(8-shot)、HumanEval 74.1%(0-shot)、MMLU 81.3%(5-shot),并在 Needle In A Haystack 评测中实现 128K 长度内的完美检索。
推荐理由:原文提供了与 GPT-4、Claude 3 Opus、Gemini Pro 1.5 等模型的横向基准对比,读者可以据此判断 Grok-1.5 的相对性能位置。