XDA Developers· Ayush Pande·· 4 小时前AI 评分20
MoE 模型改变了“适合我的 GPU”的含义，但多数硬件建议尚未跟上
MoE models changed what "fits on my GPU" means, and most hardware advice hasn't caught up
AI 导读
MoE 模型改变了人们对“适合我的 GPU”的理解，但多数硬件建议仍未适应这一变化。作者早期自托管大语言模型时会使用 Deepseek-R1 的蒸馏版本；由于旧 GPU 无法容纳更大的模型，推理会大幅减速，因此在找不到合适替代方案时，只能选择低于 7B 的模型。
来源：XDA Developers · xda-developers.com