本地 LLM 推理 C++ 引擎，CPU/GPU 高效运行 GGUF 模型。
llama.cpp 本地 LLM 推理 C++ 引擎，CPU/GPU 高效运行 GGUF 模型。
作为API 与模型领域的常用工具，llama.cpp 适合个人创作者与团队快速上手，可通过官网注册或 API 集成到现有工作流。
Groq LPU 加速推理，Llama 等模型响应极快，API 延迟低。
本地运行开源大模型的 CLI 工具，开发者自部署与集成首选。
自托管开源 AI 对话界面，连接 Ollama 与 OpenAI 兼容 API。
统一 API 网关，一个接口调用 GPT、Claude、Llama 等数百模型。
