跳到正文
原文
36氪·· 3 小时前精选AI 评分71

DeepSeek 全面开源内部推理框架 DeepInfer

DeepSeek:进一步将内部推理框架DeepInfer全面开源

AI 导读

DeepSeek 宣布在前期开源大模型、TileLang 编译工具及推理算子库的基础上,进一步将内部推理框架 DeepInfer 全面开源。基于 DeepInfer,DeepSeek 已实现 V4.1 Flash 高吞吐、低延迟的大规模推理服务,新模型的推理代码及后续优化也将在该框架上持续更新。

推荐理由

DeepSeek 将内部推理框架 DeepInfer 全面开源,外部团队可在此基础上复现 V4.1 Flash 的高吞吐、低延迟推理能力,并跟踪后续模型更新。

来源:36氪 · 36kr.com