量子位· 关注前沿科技·· 1 天前精选AI 评分78
百度发布并开源文心Unlimited OCR 2，KV缓存降至1.77GB
KV Cache被压成常数！OCR开源新王：页数没上限，缓存砍96%
AI 导读
百度发布并开源文心Unlimited OCR 2，主打超长文档连续解析，可一次读完3600+页的7部《哈利·波特》。技术报告显示，百页级单序列测试中峰值KV缓存从标准解码的47GB降至1.77GB，减少约96%；16路并发吞吐量从360提升至1315 Token/秒。模型采用稀疏参考滑动窗口注意力机制SR-SWA与无限解码机制，已在Hugging Face和GitHub开源。
推荐理由
原文给出峰值KV缓存从47GB降至1.77GB和单步解码提速的对比数据，可据此判断长文档OCR的显存与吞吐变化。
来源：量子位 · mp.weixin.qq.com