跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

383 条精选近 30 天 357 条共收录 438 条

更新

精选归档 · 第 20 页

5月23日周六第 381–383 条
  1. 阶跃 StepFun62

    阶跃 StepFun 发布 198B 参数视觉语言模型 Step 3.7 Flash

    StepFun 发布 198B 参数稀疏 MoE 视觉语言模型 Step 3.7 Flash,每 token 激活约 11B 参数,吞吐量最高 400 tokens/s,支持 256k 上下文窗口与低/中/高三档推理强度。

    推荐理由:原文说明了该 198B MoE 模型针对高频生产与智能体工作流的定位,以及通过三档推理强度平衡成本与速度的设计取舍。

4月9日周四
3月3日周二