HF Daily Papers·· 5 天前精选AI 评分42
TWIG 用共享离散决策路径统一神经网络权重压缩
Every Weight Is a Path of Shared Discrete Decisions
AI 导读
TWIG 将神经网络权重表示为共享离散决策路径,统一剪枝、量化、低秩分解、码本和权重共享,并支持构造几乎完全由连线和加法器组成的固定权重电路。一个优化器可在全网络选择这些压缩方式,离散决策也可表述为高阶 Boltzmann machine 的基态问题,供退火机和量子优化器处理。
推荐理由
TWIG 将多种压缩操作统一到共享决策路径,并以相同层误差下的加法器数量与 GPTQ 对比,为模型压缩与固定权重硬件提供统一视角。
来源:HF Daily Papers · huggingface.co