StarSkirmish Bench v0.2 公布：让大模型用 1 小时写 C++ StarCraft 机器人并对战

简而言之

StarSkirmish 是一个基准测试，让 LLM 为《星际争霸：母巢之战》编写机器人。
每个 LLM 有 1 小时时间用 C++ 编写一个 Protoss 机器人，然后与其他 LLM 的机器人和成熟的人类编写的机器人进行对战评估。
StarSkirmish 测试长时程推理和智能体编码能力，因为 LLM 必须从练习赛中汲取经验来改进其《星际争霸》机器人。

StarSkirmish Bench 评估每个 LLM 在 1 小时实时时间内能编写出多强的《星际争霸》机器人。v0.2 在 StarSkirmish Bench v0.1 的基础上进行了更新，纳入了来自 OpenAI、Anthropic、Google 和 Meta 的旗舰模型，每个模型都运行在其实验室的官方 CLI 工具中。

LLM 的得分反映了它与一系列有竞争力的人类编写的机器人和演示机器人的胜率。

StarSkirmish Bench v0.2

1 小时运行，使用其官方 CLI 工具。得分是每个模型的 5 次运行对一系列有竞争力的人类编写的机器人的平均胜率（0–100）。

Gemini 4 Argon 以 high 运行，这是其可用的最高推理力度；其他所有模型以 max 运行。

GPT-6 Astra 是 StarSkirmish Bench v0.2 中得分最高的 LLM，明显领先于第二名的 GPT-6.1 Sol。Gemini 4 Argon、Claude Opus 5.5 和 Claude Fable 5.1 在它们之后表现相当，得分均在 37 到 39 之间。

StarSkirmish Bench 与成本对比

StarSkirmish Bench 得分与单次 1 小时运行的平均 API 成本对比。成本采用对数刻度。

Muse Wonder Full 的定价基于 Muse Wonder 的 API 定价。

GPT-6.1 Sol 提供了独特的高性价比：它是唯一一个位于最具吸引力象限的 LLM，得分排名第二，而每次运行成本仅为 GPT-6 Astra 的十分之一多一点。

无饱和迹象

最强的人类编写机器人仍然遥遥领先于所有模型。对阵 Stardust、PurpleWave 和 BananaBrain 时，最强的模型 GPT-6 Astra 仅赢得 7% 的对局。

对阵顶级人类编写机器人的胜率

每个模型的 5 个机器人在对阵顶级人类编写机器人 Stardust、PurpleWave 和 BananaBrain 时的平均胜率。

1 小时推理时间限制是一个因素，但这些对局是在三张 2 人地图上进行的。真实的人类编写机器人锦标赛条件要难得多。

新 AI 模型亮点

Google 和 Meta 的新旗舰模型取代了 v0.1 中的 Gemini 3.8 Flash 和 Muse Spark 1.3：Gemini 4 Argon 排名第三，Muse Wonder Full 排名第七。GPT-6 Astra 和 Claude Opus 5.5 在 v0.1 中已有介绍。

AI 模型行为

每次运行的智能体轨迹记录了其在一小时内的行为。模型分数的最强预测因子是其与名单中 7 个最强机器人进行了多少练习。

胜率与对战强机器人的练习量

StarSkirmish Bench 分数对照模型中位运行在一小时内对阵名单中 7 个最强机器人所进行的练习对局数。虚线为 9 个模型的线性拟合。

GPT-6 Astra、GPT-6.1 Sol 和 Gemini 4 Argon 在一小时初期就开始对阵这些机器人，而它们自己的机器人此时仍会输给这些对手。Muse Wonder Full、Claude Haiku 5.5 和 GPT-6 Luna 很少或从不这样做。Claude Fable 5.1 是例外：其得分为 37，但几乎完全只与较弱的机器人练习。

逐次运行差异

各模型 5 次运行的胜率。每个点代表某次运行的最终机器人；连线从最低到最高运行之间延伸，柱状标示均值（即该模型的 Bench 分数），色带表示一个标准差（σ）。

同一模型的不同运行之间结果也存在差异。Gemini 4 Argon 的波动远大于其他实验室的旗舰模型：其最佳与最差运行相差 18 分，而 GPT-6 Astra 为 9 分，Claude Opus 5.5 为 8 分。

每个 LLM 用 C++ 针对 BWAPI 4.4.0 编写一个 Protoss 机器人，运行于 OpenBW。比赛为 Protoss vs Protoss，在三张天梯地图上进行：Heartbreak Ridge、Benzene 与 Destination。当一方的所有建筑被摧毁时对局结束。达到 60 分钟上限（86,400 帧）的对局按 BASIL 天梯规则判定：击杀数 + 拆建筑数得分高者获胜。

LLM 从一个只会采矿的骨架机器人开始，并可使用三个示例机器人以及两个标准机器人库的源代码：战斗模拟器 FAP 和地图分析器 BWEM。一个小时结束时其机器人文件夹中的内容即为其最终机器人，因此必须保证机器人能够持续编译通过。

LLM 拥有相应工具，可编译其机器人、进行练习对局，并读取每场对局的摘要、记录及其机器人自身日志。练习对手分为多个等级：D（三个示例机器人）、C 与 B（各三个中等排名的人工编写机器人）、A（BananaBrain、Locutus）以及 S（Stardust、PurpleWave）。

锦标赛设置

LLM 机器人

对手

对局数

每对组合对局数

每个模型的 5 个最终机器人分别对阵 13 个名单机器人、10 个人工编写的竞技机器人以及 3 个示例机器人，在每张地图上以全新随机种子各进行 6 次对局。与 v0.1 不同的是，LLM 机器人之间不会相互对战。

脚手架与推理

StarSkirmish Bench v0.1 在同一脚手架下以 "high" 推理运行所有模型。v0.2 则在各实验室的一手 CLI 脚手架中以其所能提供的最高推理设定运行。

脚手架

v0.1 在一个中立的第三方脚手架下运行所有模型；v0.2 在各实验室的一手 CLI 脚手架下运行其模型。两个版本均给予每个模型 1 小时。

v0.1

v0.2

Claude CodeClaude Opus 5.5、Fable 5.1、Sonnet 5.5、Haiku 5.5

CodexGPT-6 Astra、GPT-6.1 Sol、GPT-6 Luna

Antigravity CLIGemini 4 Argon

Muse CodeMuse Wonder Full

CLI 版本：Claude Code 2.1.296、Codex 0.162.1、Antigravity CLI 1.3.5 和 Muse Code 1.4.7。

推理努力程度

v0.1 以高推理努力程度运行所有模型；v0.2 则以最高推理努力程度运行。

v0.1

LowMediumHighXHighMax

High

v0.2

LowMediumHighXHighMax

Max

Gemini 4 Argon 以 high 模式运行，即其所支持的最高努力程度。

每个 v0.2 脚手架在约 25 万 token 时压缩模型的上下文。当对话接近该长度时，CLI 会将其压缩并让模型继续运行。例如，OpenAI 的 CLI Codex 给予 GPT 模型默认的 272k token 窗口，并在填满率达 90% 时触发压缩。

CLI 的网页搜索和网页获取工具已关闭，agent 也没有其他互联网访问方式。CLI 在计时开始前就已安装完成，计时从 agent 启动时算起。没有提交工具：时间一到，harness 会自动回收 bot。

计分

v0.2 用简单的胜率取代了 v0.1 的 Elo 评分。一个 bot 的得分是它在场锦标赛中的胜率，而一个模型的 StarSkirmish Bench 得分则是其 5 个 bot 得分的平均值，从 0（每场皆负）到 100（每场皆胜）。

由于每个 bot 都在相同的固定名单上对战，其比赛结果不依赖于场上的其他 LLM bot。所有比赛并行运行，新模型的 bot 可以独立计分，无需重赛其他 bot。固定名单也让标准长期保持一致，因此不同时代模型的得分比在同一场内拟合出的 Elo 评分更具直接可比性。

基准相关性

StarSkirmish 已不再与那些被最广泛报道的评测同步。它与 Artificial Analysis Intelligence Index 的相关性极低（ρ 0.26），其中在此榜单上夺冠的 GPT-6 Astra 在这 9 个模型中仅并列第 4。它也偏离了 Terminal-Bench 4.0，而在 v0.1 中两者是高度同步的。Claude Sonnet 5.5 和 Muse Wonder Full 在 Terminal-Bench 4.0 上都接近榜首，但在这里却排名垫底。

基准相关性

每个模型的 StarSkirmish Bench 得分与 Vals IOI 和 WeirdML v3 得分对照，并给出它们之间的 Spearman ρ。虚线为最佳直线拟合。

WeirdML v3 对这 9 个模型中的 7 个进行了评分：截至撰写本文时，Gemini 4 Argon 和 Muse Wonder Full 暂未纳入。

StarSkirmish 仍与 Vals IOI（用 C++ 解决的奥林匹克编程题）和 WeirdML（一个独立的机器学习编程难题基准）保持同步。一种解读是，那些被最广泛测评的评测已沦为模型专门调优的目标，而那些不那么常被针对的、面向长周期、困难编程任务的测试仍然呈现出共同的变化趋势。