Underdog-Saluki-27B-1.0

¿Qué es Underdog-Saluki-27B-1.0

Un modelo cuantizado GGUF de 2 bits basado en Qwen3.8-27B, con un tamaño inferior a 8 GB. Se centra en preservar la capacidad de llamada a herramientas y se puede ejecutar directamente con llama.cpp.

Características clave

• Un modelo cuantizado GGUF de 2 bits basado en Qwen3.8-27B, tamaño 7.89 GB
• Se centra en preservar la capacidad de llamada a herramientas y admite llamadas paralelas a herramientas
• Admite generación de texto y puede lograr comprensión de imágenes mediante un complemento de visión opcional
• El modo de pensamiento está activado por defecto y se puede alternar por petición, consistente con Qwen3.8
• Compatible con llama.cpp de serie para ejecución directa

Para quién es

Usuarios que necesitan ejecutar tareas de llamada a herramientas y multimodales en modelos grandes pero disponen de recursos de hardware limitados. Adecuado para desarrolladores e investigadores que despliegan llama.cpp localmente.

Cómo empezar

1. Ejecuta llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768 para iniciar el servicio
2. Para la capacidad de visión, descarga además mmproj-Underdog-Saluki-27B-1.0-F16.gguf y cárgalo con el parámetro --mmproj
3. Envía peticiones mediante la API de chat compatible con OpenAI (puerto 8080), que admite llamadas a herramientas y control de razonamiento

Compilado a partir de descripciones públicas del sitio web oficial / README / página de lanzamiento de la herramienta. Los precios y números de usuarios no han sido verificados; consulta el sitio web oficial. Algunas secciones fueron redactadas con ayuda de IA. Escrito en chino e inglés; otros idiomas están traducidos automáticamente.