约翰斯·霍普金斯大学直播：Full-bandwidth transformer 用隐状态反馈解码
明日直播｜Full-bandwidth transformer，把丢掉的隐状态捡回来，约翰斯·霍普金斯大学
约翰斯·霍普金斯大学博士生 Xi Wang 将直播讲解全带宽 Transformer（Full-bandwidth transformer），该方法采用隐状态反馈解码，把前一词元的顶层隐状态与下一词元的嵌入向量融合作为下一位置输入，使解码时能像 RNN 一样逐步传递隐状态。
报告主题：Full-bandwidth transformer
论文地址：https://arxiv.org/abs/2608.08888v1
报告日期：11月4日 10:00-11:00
报告简介：
大语言模型在自回归解码时，能否以更高的带宽与自己“对话”？在传统大语言模型中，每一步解码结束后，反馈到下一步输入的只有生成的离散词元（token）。当前步的顶层隐状态随之被丢弃，后续位置的浅层网络无法直接读取其中的连续信息。为拓宽这一反馈通道，我们提出了全带宽 Transformer。它采用隐状态反馈解码（latent feedback decoding），将前一词元的顶层隐状态与下一词元的嵌入向量融合，作为下一位置的输入。这样，Transformer在解码时也能像循环神经网络（RNN）一样，将隐状态从一步传递到下一步。为了让模型学会读取自身的隐状态，我们借鉴循环 Transformer 的做法，在训练时对同一序列进行多次前向传播。实验表明，在推理开销相同的情况下，全带宽 Transformer 在数学和编程任务上的表现可媲美训练计算量为其两倍的标准 Transformer。
嘉宾介绍：
Xi Wang（在约翰斯·霍普金斯大学攻读计算机科学博士学位，师从 Eric Nalisnick 教授，目前处于博士阶段的最后一年。他的研究方向包括近似推断、贝叶斯深度学习和优化，近期的工作聚焦于大语言模型。他曾在微软研究院英国剑桥分院和美国纽约分院担任研究实习生，分别与 James Hensman 和 John Langford 合作。本科就读于上海的华东师范大学。
Xi Wang (X, GScholar) is a final-year PhD at Johns Hopkins University, supervised by Eric Nalisnick. His research focuses on approximate inference, Bayesian deep learning, optimization, and more recently, LLMs. He previously was a Research Intern at Microsoft Research Cambridge (UK) and NYC, working with James Hensman and John Langford, respectively. Before that, he was an undergrad at East China Normal University in Shanghai.
10:00-11:00
点上方预约，开播有提醒
来源：智源社区 · hub.baai.ac.cn