给老电脑加一块二手显卡,本地 AI 快十倍
据 ExplainingComputers 的视频,他给一台只有核显的测试机换上了独立显卡,专门用来跑本地 AI。他的核心判断是:挑本地 AI 显卡第一看显存,模型权重、上下文缓存和中间结果都要占地方,显存不够就得把模型往内存里挪,速度会断崖式下跌。按他的经验,七十亿到一百四十亿参数的中型模型光权重就要六 G 以上显存,所以八 G 卡常常不够,十二 G 是目前业余玩家的甜点。他花 245 英镑买了一块二手技嘉 RTX 3060 Eagle 12G,同一个总结任务从 479.63 秒出首字、每秒 3.71 个词元,变成 0.36 秒出首字、每秒 31.96 个词元。
- 选卡先算显存:模型权重之外还要留给 KV 缓存、激活值和运行时开销,不够就会卸载到 CPU,性能大幅下降
- 七十亿到一百四十亿参数的中型模型至少需要六 G 显存放权重,所以八 G 卡往往吃紧,十二 G 才够用
- 他放弃更便宜的 AMD 和 Intel 卡,是因为不少 AI 应用只针对英伟达的 CUDA 优化,比如 LM Studio 的语音界面和三维重建软件 Meshroom 目前只支持英伟达
- 动手前要量机箱限长、核对电源功率和八针显卡供电口,注意显卡的六加二针和 CPU 的四加四针不是一回事
二手卡性价比确实高,但要留意来源和剩余保修;另外视频里是测试平台,真装机还得算上电源余量和机箱散热。