Underdog-Saluki-27B-1.0

Que é Underdog-Saluki-27B-1.0

Un modelo cuantizado GGUF de 2 bits baseado en Qwen3.8-27B, cun tamaño inferior a 8 GB. Céntrase en preservar a capacidade de chamada de ferramentas e pódese executar directamente con llama.cpp.

Características clave

• Un modelo cuantizado GGUF de 2 bits baseado en Qwen3.8-27B, tamaño 7.89 GB
• Céntrase en preservar a capacidade de chamada de ferramentas e admite chamadas paralelas a ferramentas
• Admite xeración de texto e pode conseguir comprensión de imaxes mediante un complemento de visión opcional
• O modo de pensamento está activado por defecto e pódese alternar por solicitude, consistente con Qwen3.8
• Compatible con llama.cpp de serie para execución directa

Para quen é

Usuarios que necesitan executar tarefas de chamada de ferramentas e multimodais en modelos grandes pero teñen recursos de hardware limitados. Apto para desenvolvedores e investigadores que despregam llama.cpp localmente.

Como comezar

1. Executa llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768 para iniciar o servizo
2. Para a capacidade de visión, descarga adicionalmente mmproj-Underdog-Saluki-27B-1.0-F16.gguf e cárgao co parámetro --mmproj
3. Envía solicitudes a través da API de chat compatible con OpenAI (porto 8080), que admite chamadas de ferramentas e control de pensamento

Compilado a partir de descricións públicas no sitio web oficial / README / páxina de lanzamento da ferramenta. Os prezos e números de usuarios non foron verificados; consulta o sitio web oficial. Algunhas seccións foron redactadas con axuda de IA. Escrito en chinés e inglés; outras linguaxes están traducidas por máquina.