X：Clément Delangue（Hugging Face CEO） (@ClementDelangue)· X：Clément Delangue（Hugging Face CEO） (@ClementDelangue)·· 3 天前AI 评分40
llama.cpp 支持端侧运行决策模型
AI 导读
决策模型现在可以在 llama.cpp 上端侧运行了。免费、快速、私密！ llama serve -hf ggml-org/Kev-4B-GGUF
正文
Decision models now run on device in llama.cpp. Free, fast, private!
llama serve -hf ggml-org/Kev-4B-GGUF
来源：X：Clément Delangue（Hugging Face CEO） (@ClementDelangue) · x.com