llama.cpp

llama.cpp 是开源 C/C++ 推理项目，支持 GGUF、多种量化、CPU 和 GPU 后端、服务器 API 与广泛硬件。