Spinf开源批量评分推理服务器

Spinf 已发布并开源 spinf-serve，这是一款面向批量评分与决策的推理服务器，可让每份内容仅读取一次，并在同一次前向传播中处理多个问题；它提供 OpenAI 兼容 API，并针对固定选项返回概率、对数概率及空内容基线。 该服务器不是聊天服务。运行环境为 Linux、Python 3.12、支持 CUDA 13 的驱动及单张 24GB NVIDIA GPU；Ada、Hopper、Blackwell 卡使用 fp8 张量核心，Ampere 卡改用 int8 权重。项目采用 Apache 2.0 许可证；Spinf 称，托管版 spinf API 源自该引擎，开源是为回应用户自托管需求。

AI 根据报道生成 · 45 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。