AWS Machine Learning Blog· Kanwaljit Khurmi·· 3 小时前精选AI 评分67
Amazon SageMaker AI 推出 SOCI 索引镜像,加速训练与处理任务启动
Announcing SOCI-indexed images for faster SageMaker AI jobs
AI 导读
Amazon SageMaker AI 为训练和处理任务推出 SOCI 索引镜像,通过仅拉取启动所需文件并在后台流式加载其余内容,使镜像下载从分钟级降至秒级。在 8 个 1.8–35.4 GB 镜像的基准中,懒加载下载耗时 3–11 秒、提速 8x–46x;完整训练首 epoch 增加 3–16 秒,此后每 epoch 与标准拉取相当,每个作业净提前 1–6 分钟完成。
推荐理由
SageMaker AI 用户可依据按需加载机制、基准数据和接入步骤,评估缩短训练任务启动时间与降低作业等待成本的方案。
来源:AWS Machine Learning Blog · aws.amazon.com