V2EX · XNA· AndyBlocker·· 4 小时前AI 评分28
Looped Transformer 量化研究:误差传播、NVFP4 与差分调制
Looped Transformer的量化:误差传播、NVFP4 与差分调制
AI 导读
针对循环语言模型共享核心层在量化时反复注入同一权重误差的问题,这项研究分析了误差沿循环步的传播规律,并在 Huginn-0125(R=32)上测得有效访问深度 Reff 约 6.1、最后 3 次访问占敏感度平方和 63%。
来源:V2EX · XNA · mer.dev