Dharma AI 用调度顺序优化把同集群 GPU 利用率提升 33 个百分点

Dharma AI 在 Hugging Face 博客发文介绍其约束感知 GPU 调度器，在 7 个测试场景中将利用率最多提升 33 个百分点、优先级加权产出平均提升 52%。该调度器将实时推理视为按时间步变化的曲线而非全天峰值预留，并按优先级批量放置训练、批量推理与量化等长时任务；在 64 GPUs / 30 作业的场景下调度延迟约 15 毫秒，可逐请求调用。