HF Daily Papers·· 2 天前AI 评分44
NeMo-DCR:面向万亿参数智能体 RL 的位精确增量压缩 Refit 方法
NeMo-DCR: Bit-Exact Delta-Compressed Refit for Scalable Agentic RL at Trillion-Parameter Scale
AI 导读
NeMo-DCR 提出面向万亿参数智能体 RL 的位精确增量压缩 refit 方法,仅传输权重变化即可让接收端获得与全量 refit 完全一致的参数。在 3% 变化率下,1T 模型跨集群 refit 从 87.5 分钟降至 150 秒,相比全量 checkpoint 传输提速 12-40 倍,覆盖 30B-1T 模型。
来源:HF Daily Papers · huggingface.co