严骏驰团队在CNCC 2026介绍JTok与xHC架构

上海交通大学严骏驰团队在 CNCC 2026 报告《大模型新架构探索：JTok & xHC》中介绍两项 Transformer 架构改进：JTok 为每个 token 配置可学习参数表，通过查表与逐元素运算调制模型更新；xHC 扩展残差流，以稠密读取、稀疏写回提高模型容量。 据该团队介绍，在固定算力预算下，JTok-M 达到同等损失所需训练算力约为底座的 65%，即节省约 35%；但其工程实现中推理延迟增加约 7%，完成算子融合等优化后，相比 mHC 的吞吐额外开销约为 1.3%。这些数字均为团队自述的实验结果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。