跳到正文
原文
X:Unsloth (@UnslothAI)· X:Unsloth (@UnslothAI)·· 2026-09-04精选AI 评分71

Unsloth 让 GLM-5.3-Flash 本地推理提速最高 3.3 倍并发布 GGUF

AI 导读

Unsloth 宣布通过优化解码和新增 MTP 支持,让 GLM-5.3-Flash 的本地 GGUF 推理提速 1.6 至 3.4 倍,长上下文下最高达 3.3 倍。

推荐理由

原文给出本地运行 GLM-5.3-Flash 的具体加速倍数、显存需求表和现成 GGUF 资源,方法可直接复用。

正文

我们让 GLM-5.3-Flash 在本地运行速度提升了 3.3 倍!

借助优化的解码以及额外的多 token 预测,本地 GGUF 推理现在快了 1.6–3.4 倍。

通过 Unsloth Desktop 或 llama.cpp,可在 128GB 配置上运行 3-bit 量化。

指南:https://unsloth.ai/docs/models/glm-5.3-flash#faster-inference-and-mtp-support
GGUF:https://huggingface.co/unsloth/GLM-5.3-Flash-GGUF

来源:X:Unsloth (@UnslothAI) · x.com