xAI 推出 Grok 聊天助手,公布底层大模型 Grok-1 基准成绩
xAI 发布 Grok 聊天助手,由其自研大模型 Grok-1 驱动,目前以限量早期测试向美国用户开放。Grok-1 在 HumanEval 上得 63.2%、MMLU 上得 73%、GSM8k 上得 62.9%、MATH 上得 23.9%,在同算力档下超过 GPT-3.5 和 Inflection-1,但仍落后于 GPT-4。
推荐理由:给出了 Grok-1 在 GSM8k、MMLU、HumanEval 等基准上的成绩,读者可与 GPT-3.5、GPT-4 等模型横向对比。