HF Daily Papers·· 2 天前精选AI 评分51
IQuest-Q1 论文:提出并开源面向智能体 CLI 的稀疏 MoE 基础模型
IQuest-Q1: Advancing Foundation Capabilities for Agentic CLI Systems
AI 导读
论文提出并开源 IQuest-Q1,一款面向智能体 CLI 系统的稀疏 MoE 基础模型,总参数量 320B,激活参数量 15B。模型通过预训练、中训和后训练三阶段训练,后训练结合 SFT、领域专用 RL 和 MOPD,并通过模型合并整合不同专家与检查点。arXiv 论文地址为 https://arxiv.org/abs/2610.30949。
推荐理由
论文拆解了预训练、中训和后训练三阶段方案,并披露总参数与激活参数,便于对照理解智能体编码基础模型的构建路径。
来源:HF Daily Papers · huggingface.co