SoloQ：面向扩散语言模型的免校准量化方法
SoloQ 提出面向扩散语言模型的免校准后训练量化框架，用结构化 K-RPBH 旋转与轻量重缩放把权重和激活映射到可预测分布，从而支持分布匹配码本和硬件原生 NVFP4。
推荐理由：提出面向扩散语言模型的免校准量化方法，保留 4-bit 精度并给出 NVFP4 部署下的显存与推理加速数据。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
381 条精选近 30 天 355 条共收录 436 条
更新
精选归档 · 第 18 页
HF Daily Papers精选AI 评分3535
HF Daily Papers精选AI 评分4545 MetaKernelBench：衡量 GPU Kernel 优化中跨 DSL 的知识迁移能力
MetaKernelBench 是一个面向 GPU kernel 优化智能体的评测基准，包含 74 道题（分属 6 类 fused subgraph，每题配 CuTe DSL 和 TIRx 两个变体），衡量智能体从一个 DSL 提炼的经验能否迁移到同一问题的另一 DSL。
推荐理由：它把 kernel 优化智能体的能力评估从代码本身扩展到经验能否跨 DSL 复用，并给出 6 个模型的具体迁移幅度。
Product Hunt精选AI 评分2323 Bevel 上线欧盟首个 System One 模型 eu/jev，主打 GDPR 合规
Bevel 在 Product Hunt 推出 eu/jev，自称为首个托管在欧盟的 System One 模型，运行在德国 Hetzner GPU 上，强调 GDPR 合规且不保存 prompts 与 answers。API 调用方式与 Jev 一致，按 Jev 同价计费，输出 token 免费。模型基于开源 Winnow，原文称其为 JevBench 上第一的开源 System One 模型。
推荐理由：原文给出欧盟部署、GDPR 合规的模型接入方式与免费输出 token 定价，可作为评估数据主权合规部署的参考。
Anthropic News精选AI 评分5757 Anthropic 投入 1 亿美元推出 Claude Frontier Academy，目标 2027 年底前培训 1 万名工程师
Anthropic 投入 1 亿美元推出 Claude Frontier Academy，计划在 2027 年底前培训 1 万名 Frontier Deployed Engineer。
推荐理由：Anthropic 以培养自家工程师的标准对外培训客户与合作伙伴人才，合作名单与训练路径给出了规模与时间表。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-6 模型家族实用指南
OpenAI 发布 GPT-6 模型家族实用指南，介绍如何根据能力、推理力度和延迟在 GPT-6 Astra、Sol 与 Luna 之间取舍，并通过提示词缓存（最多减少 95% 成本）、compaction 与监控管理生产中的成本与上下文。
推荐理由：原文给出模型选型、推理级别与提示词配置的具体取舍方法，可帮助读者把 GPT-6 接到生产链路里。
AWS Machine Learning Blog精选AI 评分4141 Amazon Quick 与 Adjudicated Query 模式：把合规判定交给确定性规则引擎
AWS 博客提出 Adjudicated Query 设计模式，把 Amazon Quick 作为聊天入口，由确定性规则引擎完成合规判定，模型只把自然语言翻译成有限 MCP 工具调用并复述结果，判定环节不调用大模型。
推荐理由：原文给出把生成式 AI 限制在对话层、把合规判定留在确定性规则引擎的 Adjudicated Query 架构，并附可部署参考实现，便于迁移到制裁筛查、保险理赔等高风险场景。
NVIDIA Blog精选AI 评分5252 NVIDIA DGX Spark 64GB 配置即将上市，支持双机集群扩展至 200B 参数
DGX Spark 64GB 配置将于 10 月 23 日通过 Acer、ASUS、Dell、Gigabyte、HP、MSI 开售，起售价 $4,999，搭载 GB10 Grace Blackwell Superchip，可本地运行最高 100B 参数模型。
推荐理由：DGX Spark 64GB 把本地 AI 部署门槛压到 $4,999，双机集群可扩展到 200B 参数并带来约 1.7 倍性能，给本地与云端工作流的成本对比提供了一个具体参考点。
Latent Space精选AI 评分6666 Airbnb CTO 详解 'Inside-Out AI' 转型：从内部研发到客户体验的改造路径
Airbnb CTO Ahmad Al-Dahle 在 Latent Space 专访中详解其 'Inside-Out AI' 转型路径，并给出多项内部指标。
推荐理由：Airbnb CTO 详述把 AI 同时用于内部研发与外部产品的转型思路，并给出代码占比、客服解决率与新服务开发周期等可对照的内部数据。
量子位精选AI 评分5353 openJiuwen发布自演进模型路由X-Router，昇腾亲和，Agent调用成本最高降51.4%
openJiuwen（华为2012实验室等团队）开源自演进模型路由技术 X-Router，在 Agent 与模型之间引入路由层，按任务复杂度动态选模并通过反馈闭环持续优化。
推荐理由：提供了按任务复杂度动态选模在 PinchBench 和 Terminal-Bench 上的成本与得分对照数据，对评估 Agent 多模型调用时的成本控制有具体参考价值。
AWS Machine Learning Blog精选AI 评分3838 使用 Amazon Bedrock AgentCore 的 AI 智能体扩展云迁移规模
AWS Professional Services 在 Amazon Bedrock AgentCore 上推出四智能体云迁移架构，在一个 300+ 应用迁移项目里把单应用 IaC 开发时间从 3 到 4 周压缩到分钟级（数据来自内部项目跟踪）。
推荐理由：给出了四智能体模式的代码与架构细节，以及 MCP 工具与 Bedrock Guardrails 的接入方式，可作为云迁移或 IaC 自动化的参考实现。
AWS Machine Learning Blog精选AI 评分3838 Amazon Payments 在 AWS 上用上下文 bandit 提升获客漏斗转化的实践
Amazon Payments 用 LinUCB 上下文 bandit 在 Amazon SageMaker AI 上做整漏斗多目标个性化，7 周 A/B 测试中一位客群获得高单数位的最终转化相对提升，另一客群则未见改进。
推荐理由：Amazon Payments 给出 LinUCB 上下文 bandit 在 SageMaker AI 上做整漏斗个性化的生产架构与 Python 代码，含上线后人群分化的经验。
Hugging Face Blog精选AI 评分5454 Olmo-core 3 发布：面向大型 MoE 的开源可扩展训练基础设施
Allenai 发布开源训练框架 Olmo-core 3，将 MoE 训练基础设施扩展到万亿参数规模。
推荐理由：Olmo-core 3 把万亿参数 MoE 的训练栈完整开源，并附带各项优化在 B300 上的实测对比，为后续训练基础设施的复现与改写提供了具体基准。
Latent Space精选AI 评分7575 OpenAI DevDay 2026 发布 Dots、Agents API 与 Decisions API，Computer Use 进展同步解读
Latent Space 在 OpenAI DevDay 2026 后专访 OpenAI 团队，介绍 Dots、GPT-6.1 Sol、Agents API 与 Decisions API 等新发布。
推荐理由：围绕 OpenAI DevDay 当天发布，整理了 Computer Use 的当前能力边界和 Decisions API 一周内从零搭建的关键决策。
Ai2 Blog精选AI 评分5151 Ai2 发布开源 MoE 训练基础设施 Olmo-core 3，瞄准万亿参数规模
Ai2 发布开源训练基础设施 Olmo-core 3，面向大模型 MoE 架构设计，可扩展到万亿参数规模。系统从 FSDP 切到 DDP，保留专家权重驻留在 GPU 上；在 8 张 NVIDIA B300 GPU 上，47B 参数 MoE 吞吐约 52,000 tokens/s/GPU，较旧实现约 2.7 倍。
推荐理由：完整公开了面向万亿参数 MoE 的训练栈设计、关键优化和吞吐量基准数据，对自建大模型训练系统的团队有参考价值。
AWS Machine Learning Blog精选AI 评分4949 Amazon Bedrock 在首尔和新加坡上线 Claude Opus 5 与 Sonnet 5 区域内推理
Amazon Bedrock 在首尔区域上线 Claude Opus 5 与 Claude Sonnet 5、在新加坡区域上线 Claude Sonnet 5 的区域内推理能力，请求与数据全程不离开所调用的 AWS 区域。
推荐理由：介绍在首尔和新加坡区域使用 Bedrock 调用 Claude Opus 5 与 Sonnet 5 的方式，便于有本地数据驻留需求的用户评估接入路径。
GitHub Blog · AI & ML精选AI 评分4040 GitHub Copilot 应用重构超大 Pull Request 渲染性能
GitHub Copilot 应用重构了 Pull Request 视图，在面对 2200 个文件、超百万行改动和 400 多条评审评论的极端开源 PR 时仍保持流畅渲染。
推荐理由：原文把巨大 PR 渲染拆成虚拟化、动态块测量与滚动锚定三部分，给出了在评论高度不可预测时仍保持流畅的实现路径，技术思路可迁移到其他长列表场景。
OpenAI News精选AI 评分6565 GPT-6 推出改进版提示词缓存与监控工具
OpenAI 为 GPT-6 推出改进版提示词缓存系统，默认缓存命中率更高，对 30 分钟窗口内复用的前缀提供最高 90% 的输入 token 折扣。新增 Prompt Caching Dashboard、缓存诊断工具、显式缓存断点、推理力度调整推理不破坏缓存以及缓存预热等能力。
推荐理由：GPT-6 的缓存系统更新给出更高的默认命中率和监控工具，文中合作方数据可作为 Agent 类应用优化成本与延迟的参考。
NVIDIA Blog精选AI 评分4848 NVIDIA 发布 Isaac ROS 5.0，引入智能体开发流程与 ROS Lyrical 支持
NVIDIA 在 ROSCon 大会发布 Isaac ROS 5.0，新增对 ROS Lyrical 与 Ubuntu 24.04 的支持，并引入面向 AI 智能体的开发流程。
推荐理由：Isaac ROS 5.0 把 AI 智能体工作流引入 ROS 开源生态，并打通从 Jetson Orin Nano 到 Jetson Thor 的端侧部署路径，读者可据此了解当前具身智能开发栈的具体形态。
Hugging Face Blog精选AI 评分7474 Transformers 支持直接加载并运行 llama.cpp 的 GGUF 量化模型
Transformers 新增对 GGUF 格式模型的直接加载支持，可通过 from_pretrained 配合 gguf_file 参数运行 Unsloth 等发布的 GGUF 量化检查点。
推荐理由：transformers 现已原生支持 GGUF 模型加载，通过复用 ggml Metal kernel 在 Apple Silicon 上获得接近 llama.cpp 的本地推理速度。
NVIDIA Blog精选AI 评分3535 为什么规模化部署物理 AI 要求每一层都建立安全机制
文章解释规模化部署物理 AI 需要在硬件、软件、AI 行为、运行环境与全生命周期都建立安全机制，并介绍 NVIDIA Halos 作为全栈安全系统在自动驾驶和机器人方向的组件分工。文中还提及 Geely、Nissan、Uber 等使用 Halos 相关平台的厂商，以及 TÜV SÜD、TÜV Rheinland 对 DriveOS、Halos OS 等组件与流程的独立认证进展。
推荐理由：原文系统梳理了物理 AI 安全落地所需的多层架构，并介绍了 NVIDIA Halos 在 AV 与机器人方向的组件分工和独立认证情况，对理解安全工程化思路有参考价值。