清华团队开源视觉引导语音提取模型Falcon
热点事件持续更新
清华团队开源视觉引导语音提取模型Falcon
1 篇报道1 个报道来源23 小时前更新
先了解这件事
AI 综述
清华团队开源了视觉引导语音提取模型 Falcon，能在多说话人的嘈杂环境中实时提取指定人物的语音：用摄像头看到的目标人物与麦克风听到的声音对应，再提取该人声。 团队称，相比 AV-TF-GridNet，Falcon 可训练参数量减少 91.9%、计算量降低约 20 倍、GPU 推理延迟降低 11 倍；与同样 50 万参数的 Swift-Net-12 相比，GPU 延迟降低约 70%、计算量减少约 77%。 团队还配套了可在本地笔记本电脑上运行的 Falcon Studio，用摄像头追踪目标人物嘴部，把提取后的语音输出到耳机，或经虚拟音频设备送入腾讯会议、Zoom。
AI 根据报道生成 · 2 小时前更新
最新进展10月31日 00:00
清华团队开源 Falcon 模型，可实时提取指定人物语音报道时间线
沿着报道，了解事件的不同侧面。
10月31日
- AIGC Link AI方案库清华团队开源 Falcon 模型，可实时提取指定人物语音
清华团队开源 Falcon 研究，能在多说话人的嘈杂环境中实时提取指定人物的语音，做法是用摄像头看到的目标人物与麦克风听到的声音对应，再提取该人声。效率上，相比 AV-TF-GridNet 可训练参数量减少 91.9%、计算量降低约 20 倍、GPU 推理延迟降低 11 倍；相比同样 50 万参数的 Swift-Net-12，GPU 延迟降低约 70%、计算量减少约 77%。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。