跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

472 条精选近 30 天 434 条共收录 541 条

更新

精选归档 · 第 24 页

8月13日周四第 461–472 条
  1. DeepSeek76

    DeepSeek-V4-Pro 0813 正式发布,新增 DSpark 推测解码模块

    DeepSeek 正式发布 DeepSeek-V4-Pro 0813,在预览版基础上挂载 DSpark 推测解码模块,重点强化智能体能力。该模型在 HLE 上得分 42.7/60.0(无工具/有工具),Terminal Bench 2.1 达 87.9,DeepSWE 62.7。

    推荐理由:正文给出与同代模型的基准对比和 vLLM/SGLang 部署方式,读者可直接评估其相对位置并复现推理流程。

8月11日周二
  1. Mistral AI56

    Mistral开放区域推理端点与第三方开源模型,组建欧洲AI算力联盟

    Mistral将Regional Endpoints转为正式可用,同时上线提供SLA保障的Priority Tier服务,并在推理基础设施上接入Z.ai的GLM-5.2等第三方开源模型;Mistral称自己是同时提供区域选择与SLA承诺的欧洲AI实验室。

    推荐理由:Mistral将区域推理端点转为正式可用,上线SLA优先级服务并接入第三方开源模型,为欧洲主权AI部署补齐组合工具。

  2. Hugging Face Blog54

    NVIDIA Magpie TTS 多语种版本发布:开放权重,支持 12 种语言,B200 上 TTFA 低至 32ms

    NVIDIA 发布多语种 TTS 模型 Magpie TTS Multilingual 新版本,开放权重,支持英语、西班牙语、法语、德语、意大利语、越南语、普通话、印地语、日语、现代标准阿拉伯语、韩语和巴西葡萄牙语共 12 种语言,参数量 364M,可在自有基础设施部署。

    推荐理由:文章给出 B200 上 32ms TTFA 等具体延迟数据与帧堆叠等推理优化结构,读者可据此估算多语种语音智能体的端到端可控时延空间。

8月7日周五
  1. MiniMax60

    MiniMax 开源 Music 3 音乐生成模型,支持最长 5 分钟完整歌曲

    MiniMax 开源发布 Music 3 音乐生成模型,可根据歌词和音乐描述生成长达 5 分钟的 32 kHz 立体声 WAV 完整歌曲。模型采用 8B Global LLM 与 0.6B Local LLM 的分层自回归架构,Global LLM 由 Qwen3-8B 初始化,并配合 Flow Matching 与 Flow-VAE 的连续隐状态合成模块。

    推荐理由:给出了 8B Global LLM 与 0.6B Local LLM 的分层架构与 Flow Matching 合成路径,便于参考音乐生成模型的工程设计。

7月28日周二
  1. Ai2 Blog45

    Ai2 发布 OlmoEarth 平台:面向行星尺度的地理空间推理基础设施

    Ai2 发布 OlmoEarth Platform,把地球观测基础模型的微调、评估与大规模推理整合到一套基础设施上,可在约一天内对洲际范围完成推理,单次任务处理数十 TB 影像、每平方公里成本为几分之一美分。

    推荐理由:原文把行星尺度推理拆成数据获取、推理、后处理三段并按硬件特性分配任务,为同类大规模地理空间系统提供了一套可迁移的工程做法。

7月21日周二
  1. Meta AI Blog42

    Meta 开源模型 SAM 3 与 DINOv3 支撑 Genesis Mission 首批项目

    美国能源部 Genesis Mission 旗舰项目 SYNAPS-I 基于 Meta 开源的 SAM 3 与 DINOv3 构建科研图像分割流水线,在 NERSC 等超算中心的 300 块 A100 GPU 上微调部署,将每个时间步的分析从约一个月压缩到约 15 分钟。

    推荐理由:以 DOE 的 SYNAPS-I 项目为例,展示 SAM 3 与 DINOv3 经微调后在科研图像分割中的实际效果,将每个时间步的分析时间从约一个月压缩到 15 分钟。

7月13日周一
  1. Ai2 Blog51

    Ai2 复盘 Shippy 海事智能体的架构与构建经验

    Ai2 Skylight 团队详细复盘 Shippy 海事智能体的构建经验,将其抽象为 soul、skills、config 三层结构,技能遵循 Claude Code 与 Codex 使用的 agent-skills 规范,当前底层模型为 Claude Opus 4.6,运行框架为开源的 OpenClaw。

    推荐理由:读者可以从中了解智能体的分层架构、技能规范与评测流程,判断其中的模式是否可迁移到类似的高风险决策场景。

6月2日周二
  1. MiniMax65

    MiniMax 在 Hugging Face 开源原生多模态模型 MiniMax-M3,支持 1M 上下文

    MiniMax 在 Hugging Face 开源原生多模态模型 MiniMax-M3,支持 1M 上下文,总参数约 428B、激活参数约 23B。M3 搭载自研稀疏注意力算子 MiniMax Sparse Attention(MSA),相比 M2 在 1M 上下文下实现 9× prefill 与 15× decode 加速,单 token 计算量降至 1/20。

    推荐理由:原文给出 1M 上下文与稀疏注意力算子的具体收益,读者可据此评估该模型在长上下文场景下的部署成本与吞吐。

5月27日周三
  1. 阶跃 StepFun66

    阶跃 StepFun 发布 198B 参数多模态模型 Step 3.7 Flash

    阶跃 StepFun 发布 Step 3.7 Flash 多模态模型,采用 198B 参数稀疏 MoE 架构,每 token 激活约 11B 参数,支持 256k 上下文与低中高三档可调推理强度,最高吞吐达 400 tokens/秒。

    推荐理由:Step 3.7 Flash 以 198B 稀疏 MoE 视觉语言模型形态发布,配合 256k 上下文与 ClawEval-1.1 67.1 的领先成绩,为 agent 与工具调用场景提供了从云端 API 到本地 GGUF 的完整部署参考。

5月23日周六
  1. 阶跃 StepFun62

    阶跃 StepFun 发布 198B 参数视觉语言模型 Step 3.7 Flash

    StepFun 发布 198B 参数稀疏 MoE 视觉语言模型 Step 3.7 Flash,每 token 激活约 11B 参数,吞吐量最高 400 tokens/s,支持 256k 上下文窗口与低/中/高三档推理强度。

    推荐理由:原文说明了该 198B MoE 模型针对高频生产与智能体工作流的定位,以及通过三档推理强度平衡成本与速度的设计取舍。

4月9日周四
3月3日周二