秋芝2046· 秋芝2046·· 20 小时前AI 评分42
你的电脑能跑多大的AI?AI PC本地大模型配置科普
你的电脑,能跑多大的AI?
AI 导读
秋芝2046 用"厨房"比喻讲解 AI PC 运行本地大模型的原理:CPU/GPU 对应主厨与帮厨,内存/显存是备菜台,带宽是传送带,消费级旗舰显卡 5090 显存仅 32G,放不下 72B、125B 大模型。统一内存让 CPU 与 GPU 共用大备菜台,从而在常用电脑上直接跑千亿参数模型。文章还给出常见配置可跑模型规模的速查表,并列举本地模型省钱、隐私、随时可用三大用途。
来源:秋芝2046 · mp.weixin.qq.com