英伟达研究提出语义状态空间模型SSSMs
热点事件持续更新
英伟达研究提出语义状态空间模型SSSMs
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
英伟达研究团队发布研究，提出语义状态空间模型（SSSMs），并称完成长程与长输入任务不必依赖长上下文：通过频繁压缩历史、选择性读取输入，在所测试的多种任务中，短上下文下的准确率损失很小或没有损失。 研究指出，主流注意力架构生成靠后 token 的成本最高可达靠前 token 的 7 倍，这是其提出 SSSMs 的背景。上述效果为研究团队在其测试任务中的说法。
AI 根据报道生成 · 2 小时前更新
最新进展11月8日 11:10
英伟达新研究：压缩历史与选择性读取可让模型在短上下文中完成长任务报道时间线
沿着报道，了解事件的不同侧面。
11月8日
- 智源社区英伟达新研究：压缩历史与选择性读取可让模型在短上下文中完成长任务
英伟达新研究发现，完成长程与长输入任务并不需要长上下文，通过频繁压缩历史和选择性读取输入，在所测试的多种任务中保持短上下文的准确率损失很小或没有损失。研究指出主流注意力架构生成靠后 token 的成本最高可达靠前 token 的 7 倍，并据此提出语义状态空间模型（SSSMs）概念。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。