Underdog-Saluki-27B-1.0

Qu'est-ce que Underdog-Saluki-27B-1.0

Un modèle quantisé GGUF 2-bit basé sur Qwen3.8-27B, d'une taille inférieure à 8 Go. Il se concentre sur la préservation des capacités d'appel d'outils et peut être exécuté directement avec llama.cpp.

Fonctionnalités principales

• Un modèle quantisé GGUF 2-bit basé sur Qwen3.8-27B, taille 7,89 Go
• Se concentre sur la préservation des capacités d'appel d'outils et prend en charge les appels d'outils parallèles
• Prend en charge la génération de texte et peut réaliser la compréhension d'images via un module de vision optionnel
• Le mode de réflexion est activé par défaut et peut être basculé par requête, cohérent avec Qwen3.8
• Compatible avec llama.cpp standard pour une exécution directe

Pour qui

Utilisateurs qui ont besoin d'exécuter des tâches d'appel d'outils et multimodales sur de grands modèles mais disposent de ressources matérielles limitées. Convient aux développeurs et chercheurs déployant llama.cpp localement.

Comment démarrer

1. Exécutez llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768 pour démarrer le service
2. Pour la capacité de vision, téléchargez en plus mmproj-Underdog-Saluki-27B-1.0-F16.gguf et chargez-le avec le paramètre --mmproj
3. Envoyez des requêtes via l'API de chat compatible OpenAI (port 8080), prenant en charge les appels d'outils et le contrôle de la réflexion

Compilé à partir des descriptions publiques du site officiel / README / page de lancement. Tarifs et nombre d'utilisateurs non vérifiés ; consultez le site officiel. Certaines sections ont été rédigées avec l'aide de l'IA. Rédigé en chinois et en anglais ; les autres langues sont traduites automatiquement.