跳到正文
AIGC Link AI方案库·· 1 天前AI 评分72

清华团队开源 Falcon 模型,可实时提取指定人物语音

Falcon:看着目标人物实时提取其语音的开源模型

AI 导读

清华团队开源 Falcon 研究,能在多说话人的嘈杂环境中实时提取指定人物的语音,做法是用摄像头看到的目标人物与麦克风听到的声音对应,再提取该人声。效率上,相比 AV-TF-GridNet 可训练参数量减少 91.9%、计算量降低约 20 倍、GPU 推理延迟降低 11 倍;相比同样 50 万参数的 Swift-Net-12,GPU 延迟降低约 70%、计算量减少约 77%。

来源:AIGC Link AI方案库 · d.aigclink.ai