跳到正文
原文
HF Daily Papers·· 5 天前精选AI 评分59

Apertus 1.5:从开放文本模型到开放多模态推理模型

Apertus 1.5: From Open Text Models to Open Multimodal Reasoners

AI 导读

瑞士 AI 团队发布 Apertus 1.5,将开源 Apertus 系列从纯文本扩展到多模态推理。8B 与 70B 模型分别用 4T 和 2T tokens 继续预训练,加入图像和音频理解,上下文窗口扩至 262,144 tokens;多模态通过 tokenizer 引入,语言模型 head 仍限于文本,训练流程包含 SFT、长上下文微调、RLVR 和偏好对齐。

推荐理由

公开了从纯文本扩展到多模态推理的完整训练方案与数据合规实践,可作为开源多模态模型的构建参考。

来源:HF Daily Papers · huggingface.co