XDA Developers· Nolen Jonker·· 2 小时前AI 评分39
我不再追求更大的本地模型:8GB 显卡上的 27B 模型更够用
I stopped chasing bigger local models, and a 27B model on my 8GB GPU does more of what I need
AI 导读
这位作者分享在 8GB 显卡上运行本地大模型的体验:与其追逐 Hugging Face 上不断更新的更大 Qwen 版本,不如改用一个 27B 模型,反而更能满足需求。小卡跑本地模型通常有上限,一般只能选 4B 到 9B 左右的模型;硬塞更大的版本往往装不下,或一半模型落在系统内存里,回答一个词一个词地缓慢输出。
来源:XDA Developers · xda-developers.com