llama.cpp, 在本地运行模型

​

​

​

​

跑模型需要用到的工具: llama-server，可以理解为推理引擎的服务端。它可以加载我们从huggin face上下载的GGUF模型文件，利用本地机器的cpu/gpu实际执行运算。

llama-server不需要单独安装，他是llama.cpp项目自带的工具。

项目地址: https://github.com/ggml-org/llama.cpp​

​

Windows

PowerShell
1winget install llama.cpp

​

macOS 或 Linux

Bash
1curl -LsSf https://llama.app/install.sh | sh

安装完成后，在终端输入 llama-server --help 验证一下。如果能看到一堆参数说明，就说明装好了。

​

实际使用

Plain
1llama server -m 你的模型路径.gguf --host 127.0.0.1 --port 8080 -c 8192 -ngl 99

运行后，它会加载模型并在 http://127.0.0.1:8080 上待命。

​

其他

llama.cpp 除了 llama-server，还打包了一系列工具。

llama-quantize：自己动手做量化

如果你以后想尝试不同的量化精度（比如从 Q4_K_M 换成 Q5_K_M 或更小的 IQ 系列），或者手里只有未量化的模型文件，就需要用它。它可以把高精度的模型转换成占用空间更小、跑得更快的量化版本。

llama-bench：测试你的机器跑得怎么样

如果你想客观对比不同量化版本、或者调整 -ngl（GPU 卸载层数）前后的速度差异，可以用这个工具。它会运行标准化的测试，给出提示词处理和文本生成的速度数据。

llama-cli：在终端里直接对话

一个纯命令行的聊天工具。在不启动 llama-server 的情况下，如果你想快速验证模型能否正常加载、回答是否合理，用它在终端里直接问一句话是最快的方式。