跳到正文

#部署/工程

今日 6 条
今天10月2日周五
  1. TechCrunch · AI48

    亚马逊云科技发布开源决策模型 Strands Decider 2B,灵感来自 TypeSafe 的 Jev

    亚马逊云科技发布开源决策模型 Strands Decider 2B,基于 Qwen3.5-2B 构建,可在预设选项间快速选择并输出置信度分数。模型完全开源、可本地运行,由 Amazon 杰出工程师 Marc Brooker 主导、从其个人项目孵化而来,通过 Strands Labs 推出。OpenAI 同周推出同类产品,决策模型赛道涌入大量开源项目。

9月29日周二
9月17日周四
9月16日周三
9月10日周四
9月3日周四
7月29日周二
7月25日周五
7月23日周三
  1. Hugging Face Blog65

    用 Diffusers 与 PEFT 加速 Flux 的 LoRA 推理

    HF 博客给出在 Flux.1-Dev 上加速 LoRA 推理的方案,结合 Flash Attention 3、torch.compile 与 TorchAO FP8 量化,并借助 Diffusers 的 hotswap 机制避免换 LoRA 时触发重新编译。

    推荐理由:这篇博客把 Flash Attention 3、torch.compile 与 FP8 量化组合成可复用的 LoRA 推理加速配方,并给出 H100 与 RTX 4090 上的实测对照。

3月7日周五
  1. Mistral AI66

    Mistral AI 发布 Mistral OCR 文档理解 API

    Mistral AI 发布文档理解 API Mistral OCR,输入图片和 PDF,输出有序的图文交错内容,已在 la Plateforme 上线,价格为 1000 pages/$,单节点最高可处理 2000 页/分钟。

    推荐理由:原文附带与主流 OCR 模型的基准对比,读者可以据此横向判断其在多语言文档理解场景中的相对位置。

12月9日周五
6月22日周三
2月25日周四
  1. Hugging Face Blog47

    Hugging Face 博客:构建与调试神经网络的实用建议

    Hugging Face 工程师分享构建神经网络的三个实用步骤:动手前先深入分析数据分布、标签平衡性与噪声来源;先用 fastText、word2vec 配合逻辑回归等简单基线评估任务难度,再考虑 BERT 等复杂模型;实现完成后应尝试在小批量数据上过拟合,确认 loss 接近 0 以验证代码正确性。

1月26日周二
9月10日周四