跳到正文
AIGC Link AI方案库·· 1 天前AI 评分58

hunch 用 EmbeddingGemma 2 做本地语义决策系统,让本地小模型边用边学接管大模型高频判断

hunch:让本地小模型边用边学接管大模型高频判断

AI 导读

hunch 是一个基于 EmbeddingGemma 2 的本地语义决策系统,让大模型充当教师、本地小模型持续学习并逐步接管高频判断任务。该项目在 CPU 上文本约 22 毫秒出一次判断、图片约 100 毫秒,每百万 token 成本不到 3 美分,架构为 EmbeddingGemma 2 加轻量分类器加教师模型蒸馏。

来源:AIGC Link AI方案库 · d.aigclink.ai