Ai2 Blog·· 2 天前精选AI 评分51
Ai2 的 Bolmo 字节级语言模型论文被 Nature 接收,发布基于 Qwen 与 Llama 的字节级改造版本
AI 导读
Ai2 宣布把语言模型改造为字节级表征的 Bolmo 论文被 Nature 接收,并发布基于 Qwen 3 8B 和 Llama 3 8B 字节化得到的新 checkpoint Bwen 8B 与 Blama 8B。
推荐理由
论文给出把现有模型改造为字节级表征的具体配方,并附带已训练好的 Stage 1 checkpoint,让研究者无需重复初始阶段就能直接训练完整系统。
来源:Ai2 Blog · linkedin.com