Huggingface · Daily Papers· Weichen Fan, Haiwen Diao, Penghao Wu, Siyuan Hu, Ziqi Huang, Tianqi Liu, Mingze Sun, Ziyi Wang, Zhongang Cai, Hanming Deng, Quan Wang, Lei Yang, Lewei Lu, Fangzhou Hong, Zhaoxi Chen, Dahua Lin, Ziwei Liu·· 1 天前AI 评分45
NEO-VLA:无需视觉编码器的原生视觉-语言-动作策略
From Pixels to Actions - Towards Native Vision-Language-Action Policies
AI 导读
研究团队提出 NEO-VLA,一个结构上无需视觉编码器的视觉-语言-动作框架,图像由轻量 patch 卷积层 token 化,并与语言在主干网络中共同演化。受控对比显示原生架构优于基于编码器的方案,全量微调可缩小但无法消除差距,单纯扩大规模也无法弥补。逐层探测发现动作关键信号常在最终视觉表征之前达到峰值,NEO-VLA 在多种操作场景与分布偏移下实现更强、更稳健的控制。
来源:Huggingface · Daily Papers · arxiv.org