跳到正文
掘金 · 分类· flash俊杰·· 16 小时前AI 评分29

屏幕感知双通道:截图之外,为什么还要一份 UIA 控件清单

AI 导读

桌面 AI 助手采用截图加 UIA 控件清单的双通道感知,qwen2.5vl 7B 纯视觉定位 5 步复合任务成功率约 40%。截图缩放到 1568px 后落盘 attachments 不入库,同时附上前台窗口控件的名称、矩形和类型。UIA 清单由约 30 行 PowerShell 获取,截图与清单共同为混合定位提供候选源。

来源:掘金 · 分类 · juejin.cn