Underdog-Saluki-27B-1.0

Underdog-Saluki-27B-1.0 是什么

基于 Qwen3.8-27B 的 2-bit GGUF 量化模型，体积不到 8GB，重点保留工具调用能力，可直接用 llama.cpp 运行。

主要功能

• 基于 Qwen3.8-27B 的 2-bit GGUF 量化模型，体积 7.89GB
• 重点保留工具调用能力，支持并行工具调用
• 支持文本生成，并可通过可选 vision add-on 实现图像理解
• 默认开启思考模式，可按请求切换，与 Qwen3.8 一致
• 兼容 stock llama.cpp 直接运行

适合谁

需要在大模型上运行工具调用和多模态任务，但硬件资源有限的用户。适合本地部署 llama.cpp 的开发者与研究者。

怎么开始用

1. 运行 llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768 启动服务
2. 如需视觉能力，额外下载 mmproj-Underdog-Saluki-27B-1.0-F16.gguf 并使用 --mmproj 参数加载
3. 通过 OpenAI 兼容的 chat API（端口 8080）发送请求，支持 tool calls 和 thinking 控制

内容依据工具官网 / README / 发布页公开描述整理，未核实价格与用户规模，请以官网为准。 部分段落由 AI 辅助生成。