跳到正文
原文
Hacker News· laginimaineb·· 7 小时前精选AI 评分45

Maxwell:一种介于代码与硬件之间的新模型

Maxwell: A new kind of model that sits between code and hardware

AI 导读

doubleAI 发布 Maxwell,一种可在运行时分析代码与硬件、改写二进制并以形式化证明保证与原代码等价的新型优化模型。

推荐理由

原文给出Whisper与cuGraph等场景的实测加速比,并强调优化与原代码形式化等价,为评估这类动态kernel改写工具提供具体参照。

正文 · AI 翻译

作者:doubleAI

Maxwell 在运行时理解并改进代码,对硬件和数据加以推理,而不仅仅是代码。每一次改进都被形式化证明与原始代码等价。阅读宣言 

  • 38×更快的数据处理管道
  • 4.25×更快的 AI 推理内核

什么是代码执行模型?

一段配有旁白和字幕的简短动画短片,介绍 Maxwell:大多数代码从未见过它所运行的硬件或它所处理的数据。Maxwell 在程序运行时观察程序,重写底层的二进制以适配那台特定的机器和数据,并形式化证明每一次改进都与原始代码等价。它运行于 CPU 和 GPU 之上,加速数据处理管道和 AI 推理内核。

精选客户

LTX-2.5 以一半的时间生成 4K 视频

LTX 从一开始就为效率而构建 LTX-2.5,端到端编译,跨 GPU 实现 序列并行,在一个人工手写的注意力内核上进行解码。这是一条由顶尖人类专家构建并优化的管道。Maxwell 让他们的 4K 生成速度几乎翻倍。

(在 ltx.io 打开)

  • 1.87×更快的 4K 视频生成
  • 134s两块 B200 上每段 4K 片段的耗时,从 250 秒降低

阅读案例 

Maxwell 的演示

观看 Maxwell 实际优化基于 GPU 与基于 CPU 代码的过程。一旦 Maxwell 积累了足够的运行时数据,它就会在程序持续运行的同时,替换上针对那台特定机器量身定制的、经过形式化证明的优化。

基于 GPU 的 Whisper 语音转文字

两个终端在同一块 RTX 4090 上运行相同的 Python 脚本:使用 Whisper-small 从冷启动进行 180 次转录。左侧不使用 Maxwell,需要 106.23 秒。右侧使用 Maxwell,完成时间为 49.82 秒。两者产生完全相同的转录文本。录制以 4 倍速度播放。

基于 CPU 的图算法

两个终端在同一台机器上运行相同的 Python 脚本:NetworkX 中介中心性,运行 15 次。左侧不使用 Maxwell,需要 61.44 秒。右侧使用 Maxwell,完成时间为 17.50 秒。两者输出完全相同的结果。录制以 4 倍速度播放。

Maxwell 背后的研究

  1. Maxwell 在 Blackwell 上接近光速

    经过一天的搜索,Maxwell 在 SOL-ExecBench 的 Blackwell 内核上以 90% 的比例击败了 NVIDIA 的 PyTorch 基线。

    (在 doubleai.com 打开)
  2. doubleAI 的 Maxwell:在规模上超越专家手写的内核

    独立生成并验证了一个高度优化的 NVIDIA cuGraph 即插即用版本,平均速度提升 3.6 倍。

    (在 doubleai.com 打开)
  3. 不改一行代码,pandas 极速运行

    Maxwell 完全从零重写了 pandas 的内核,并针对现代硬件进行了专门优化。

    (在 doubleai.com 打开)

来源:Hacker News · heymaxwell.ai