AWS Machine Learning Blog· Joseph Cottingham·· 2 小时前精选AI 评分67
如何用实测设置 Amazon SageMaker AI 上 Kokoro-82M 的 TTS 自动扩缩容
Stop guessing auto scaling targets for TTS on Amazon SageMaker AI
AI 导读
AWS 教程在 Amazon SageMaker AI 上部署 Kokoro-82M，并用 Q_max 与 T_total 两项实测配置 TTS 自动扩缩容。在 3,000 ms p95 TTFAB SLO 下，Q_max=50；纯扩容实测耗时 260.2 秒，另计入由策略配置限定的 60.0 秒检测延迟，规划值为 320.2 秒。
推荐理由
文章把TTS自动扩缩容拆成Q_max与T_total两项实测，并用它们推导阈值和冷却时间，方法可迁移到其他延迟敏感端点。
来源：AWS Machine Learning Blog · aws.amazon.com