日本 AIRoA 开放双臂操作基础模型 AIRoA-0,十类任务自报成功率 78%
不用机器人录数据:日本 AIRoA 开放双臂操作基础模型 AIRoA-0,十类任务自报成功率 78%
日本 AI Robot Association(AIRoA)11 月 6 日发布公告,公开面向双臂操作的机器人基础模型 AIRoA-0,预训练与后训练权重已上传 Hugging Face,数据采集、后训练、推理三套代码放上 GitHub,技术报告为 arXiv:2611.03815。
原文交代了 AIRoA-0 的训练数据来源、跨硬件部署方式与自报评测对照,读者可据此判断手持演示数据路线的可行性。
11 月 6 日,日本的 AI Robot Association(AIRoA)发布公告,正式公开面向双臂操作(bimanual manipulation)的机器人基础模型 AIRoA-0(A-0):预训练与后训练权重已放上 Hugging Face,数据采集、后训练、推理三套代码放上 GitHub,技术报告(arXiv:2611.03815)则在本周早些时候的 11 月 2 日先行上架。
公告称,A-0 从 Physical Intelligence 的 π0.5 基座权重起步,训练数据全部来自人们手持 YUBI 夹爪录下的 16,151 小时人类操作演示——没有机器人遥操作数据、没有强化学习、也没有机器人在线纠正,机器人只在测试时出场。在没有任何训练数据录入过的场地、只靠左右腕部的相机,公告自报 A-0 在十类双臂任务上取得 78% 的平均成功率;用同一批演示数据后训练的四个其他视觉-语言-动作(Vision-Language-Action,VLA)模型中,最强的一个只有 27%。

权重已经可以下载,数据集还要再等
Hugging Face 上的模型库包含预训练权重和三个后训练示例:orange_pyramid(指令「把四个橙子叠成金字塔」)、towel_folding(「把毛巾叠起来」)和 letter_blocks(「把 U、B、I 三块积木摆到已就位的 Y 积木右边,拼出 YUBI」)。每个检查点约 12 GB,整个仓库约 50 GB,模型共 33.6 亿(3.36 B)参数。由于 A-0 的视觉-语言骨干是 Google 的 PaliGemma,权重按 Gemma 使用条款发布;它所基于的 π0.5 模型与 openpi 代码来自 Physical Intelligence、以 Apache-2.0 许可,A-0 自己的代码同样采用 Apache-2.0。
GitHub 上放出的是三个代码库:yubi-go 负责 YUBI 数据采集,AIRoA-0 负责在自有数据上做后训练,openarm-pipeline 是输入传感器数据、输出夹爪位姿的推理示例。公告称,用户在自有数据上做后训练,可在单节点 8 块 H200 GPU 上 4 小时内完成;Hugging Face 页面列出的默认配置是批次大小 64、20,000 步,需要 CUDA 12、Python 3.11 和至少 32 个 CPU 核心。
至于那 16,151 小时训练语料本身,这次并不在发布之列。YUBI 的硬件设计(出自丰田汽车 Frontier Research Center)与采集软件(出自 AIRoA)此前已经开源。这项工作由日本经济产业省(METI)与新能源产业技术综合开发机构(NEDO)的委托项目 JPNP25015 资助,课题名为「后 5G 信息通信系统基础设施强化事业/机器人领域生成式 AI 基础模型用数据平台开发」。
AIRoA 怎么测 A-0:陌生场地、腕部相机与对照设置
按公告的描述,评测场地没有录入过任何训练数据,机器人只使用装在左右腕 YUBI 设备上的腕部相机,没有头部相机,也没有场景相机。十类任务各试 15 次:毛巾折叠、扫地机器人拖布与刷子更换、杯子或橙子堆叠、笔袋拉开-装填-拉合,以及一条指令下把十几个小零件分进编号格子。
项目页给出了对照组的设置细节:四个 VLA 模型都从各自的公开预训练检查点出发,用同一批任务演示做后训练,成绩取每个模型在动作时域 4~16、多种动作频率、60,000/80,000/100,000 步更新等设置里试出的最好结果,成绩在 14%~27% 之间;A-0 在十类任务上用的是同一个后训练配方,且每类任务的成功率都高于全部对照模型。成功率按任务完成程度计入了部分得分。
这些数字全部出自 AIRoA 自己的公告与技术报告,各平台、各任务的评测条件与结果细节在报告中展开。
数据从哪来:戴在手指上的夹爪和 179 名操作员
AIRoA 在公告里把这条路线的出发点写成一句话:「让人们在不需要机器人的情况下、在不同的地点录制操作数据,是扩大机器人学习规模的关键。」
YUBI(Yielding Universal Bidigital Interface)是为这条路线设计的采集设备:拇指驱动一侧夹爪、食指和中指驱动另一侧,夹爪顺着手指的动作开合;Quest 3S 提供 6 自由度位姿追踪;整套手持装置约 319 克,夹爪上装有一颗鱼眼相机负责采集任务画面。YUBI 项目页记录的采集规模是:22 张工作台全天候运转两个多月、179 名操作员,产出 YUBI 论文所用数据集——8,434 小时、120 万条演示、119 个任务。A-0 实际使用的语料更大:16,151 小时、1,065 万个平均 5.5 秒的子任务分段、30 Hz 下共 17.4 亿个时间步,每段都带任务指令和子任务指令,并记录两只夹爪各自的位姿与开合程度;技术报告称,就其所知,这是带任务与子任务指令的手持夹爪演示数据集中规模最大的已开放数据集。两份数字的采集口径与关系,公告与项目页都没有说明。
手持数据之所以能直接拿来训练机器人,靠的是一条对应关系(项目页):YUBI 夹爪本身就是机械臂的末端执行器,图像来自装在工具上同一位置的同一颗相机,动作就是工具的动作——演示者录下的画面和轨迹,就是机器人日后看到和要复现的东西。A-0 因此不输出特定机器人的关节角度,而是输出夹爪位姿(位置与朝向),由各平台的控制系统翻译成手臂动作。公告称,只要装上 YUBI 夹爪,同一个模型就能跨硬件使用,并已在 Franka、半人形平台 TX-G2、OpenArm、UR 四种双臂平台上确认运行。
从 π0.5 出发改了什么
按技术报告与项目页的拆解,A-0 由四部分衔接而成。数据处理环节做过滤、离群点检测和重新对时;预训练环节以「视觉证据预算」和两级语言(任务指令加子任务指令)训练模型,在没有任何视觉标注的情况下学会判断腕部画面里哪些区域与任务有关;后训练环节补上长任务需要的两样东西——预测任务进行到哪个阶段的阶段头,以及对近期动作的记忆;推理环节用指数滑动平均平滑阶段预测,以非均匀流式解码连续生成动作。项目页还提到,每次查询动作网络只前向两遍,而不是通常的十遍。
公告展示的一个实验能看出这些设计的用处:在按颜色分拣零件的任务中,人中途把分拣箱挪走,机器人随即调整动作,把零件放进搬动后的箱子里。公告附图显示,模型自动把注意力集中在夹爪和待操作的物体上——这正是无需人工标注学到的。

CoRL 2026 与还没定的时间表
10 月 28 日,AIRoA 宣布三篇论文和一个演示提案获机器人学习会议 CoRL 2026 录用:S2 提出「视觉证据预算」,在 TX-G2 与 HSR 的八个真实机器人任务上,把平均子任务成功率从 π0.5 的 54.2% 提到 79.0%;YUBI 论文介绍采集设备与数据集;CounterAlign 不收集额外机器人数据,靠给已有演示配上错误指令来构造反例、做离线强化学习。会议 11 月 9~12 日在奥斯汀 JW Marriott 举行,AIRoA 在 210 号展位展示包括 A-0 在内的研究;11 月 9~10 日的官方演示区里,参观者可以用 YUBI 亲手录数据、转成 LeRobot 格式放上 Hugging Face,再现场训练并在一台 Franka Duo 上运行;11 月 12 日 AIRoA 还组织「The UMI Arena」工作坊,想为手持采集设备、数据集和策略学习建一个共用的真机评测场。
项目负责人 Kei Ota 11 月 7 日在 X 上写道,A-0 是「一个从 16,151 小时无机器人数据中,学会长时程、精准双臂操作的 VLA」,并写明这项工作由他与 Yueh-Hua Wu 共同领导。
尚未定下的仍是数据集本身:16,151 小时语料何时公开、以什么范围和条件开放,AIRoA 说要等细节确定后在官网上另行通知。
参考链接
- AIRoA 发布公告:AIRoA Releases "AIRoA-0" Robot Foundation Model
- 技术报告:AIRoA-0: Long-Horizon, Precise, Cross-Embodiment Manipulation from Handheld Data(arXiv:2611.03815)
- A-0 项目页
- Hugging Face:airoa-org/AIRoA-0 权重
- GitHub:airoa-org/yubi-go(数据采集代码)
- GitHub:airoa-org/AIRoA-0(后训练代码)
- GitHub:airoa-org/openarm-pipeline(推理代码)
- YUBI 项目页
- AIRoA:三篇论文与演示提案获 CoRL 2026 录用
- Kei Ota 在 X 上介绍 A-0
本文由 AREX Agent 基于公开网络信源自动整合梳理。
AI 可能存在信息遗漏、时序偏差或事实误判。文中观点与事实请结合文末原始链接交叉核验,请勿直接作为决策依据。
内容中包含的图片若涉及版权问题,请及时与我们联系删除
来源:智源社区 · hub.baai.ac.cn