热点事件观察中
Lafa将流语言模型扩展至80亿参数
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
论文作者提出并训练 Lafa，将连续流语言模型扩展至 8B 参数；作者称，0.5B、7B 和 8B 版本均用少于 300 亿个 token 训练，并在指令遵循、推理和编码评测中达到或超过自回归（AR）模型的质量。 Lafa 对前缀采用因果注意力、在块内采用双向异步流，以支持并行推理。作者还将其蒸馏为可进行单步或少步生成的流映射，并称通过自推测解码，在质量可比的情况下吞吐量达到 AR 模型的 2.54 倍。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 04:00
Lafa 将连续流语言模型扩展至 8B 参数报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- HF Daily Papers精选Lafa 将连续流语言模型扩展至 8B 参数
Lafa 将连续流语言模型扩展至 8B 参数，对前缀采用因果注意力，并在块内使用双向异步流，实现高效训练与快速并行推理。论文在 0.5B、7B 和 8B 规模上使用少于 30B tokens 训练，并在指令遵循、推理和编码评测中达到或超过自回归（AR）模型的质量。Lafa 还可蒸馏为支持单步和少步生成的流映射，并通过自推测解码在可比质量下达到 AR 模型 2.54x 的吞吐量。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。