跳到正文

技术方向

推理能力 最新动态

让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。

182 条精选近 30 天 154 条共收录 222 条

更新

精选归档 · 第 10 页

2024年3月28日周四第 181–182 条
  1. xAI News67

    xAI 发布 Grok-1.5：128K 上下文与改进的推理能力

    xAI 发布 Grok-1.5 模型，支持 128K tokens 上下文长度，主打长上下文理解与改进的推理能力；在 MATH 上取得 50.6%（4-shot）、GSM8K 90%（8-shot）、HumanEval 74.1%（0-shot）、MMLU 81.3%（5-shot），并在 Needle In A Haystack 评测中实现 128K 长度内的完美检索。

    推荐理由：原文提供了与 GPT-4、Claude 3 Opus、Gemini Pro 1.5 等模型的横向基准对比，读者可以据此判断 Grok-1.5 的相对性能位置。

2023年11月3日周五
  1. xAI News66

    xAI 推出 Grok 聊天助手，公布底层大模型 Grok-1 基准成绩

    xAI 发布 Grok 聊天助手，由其自研大模型 Grok-1 驱动，目前以限量早期测试向美国用户开放。Grok-1 在 HumanEval 上得 63.2%、MMLU 上得 73%、GSM8k 上得 62.9%、MATH 上得 23.9%，在同算力档下超过 GPT-3.5 和 Inflection-1，但仍落后于 GPT-4。

    推荐理由：给出了 Grok-1 在 GSM8k、MMLU、HumanEval 等基准上的成绩，读者可与 GPT-3.5、GPT-4 等模型横向对比。