跳到正文
XDA Developers· Nolen Jonker·· 2 小时前AI 评分39

我不再追求更大的本地模型:8GB 显卡上的 27B 模型更够用

I stopped chasing bigger local models, and a 27B model on my 8GB GPU does more of what I need

AI 导读

这位作者分享在 8GB 显卡上运行本地大模型的体验:与其追逐 Hugging Face 上不断更新的更大 Qwen 版本,不如改用一个 27B 模型,反而更能满足需求。小卡跑本地模型通常有上限,一般只能选 4B 到 9B 左右的模型;硬塞更大的版本往往装不下,或一半模型落在系统内存里,回答一个词一个词地缓慢输出。

来源:XDA Developers · xda-developers.com