Strata让游戏PC运行1250亿参数LLM

Strata项目让配备RTX 5070的消费级游戏PC运行1250亿参数LLM，项目称其速度约为每秒50至90个token。它使用Qwen3.8的多种量化及专用版本，将常用专家放在显存、完整模型放在系统内存，并在SSD中保存约29GB查找表；运行后可使用本地网页界面和OpenAI、Anthropic兼容API。