Underdog-Saluki-27B-1.0

Què és Underdog-Saluki-27B-1.0

Un model quantitzat GGUF de 2 bits basat en Qwen3.8-27B, amb una mida inferior a 8 GB. Es centra a preservar la capacitat de crida d'eines i es pot executar directament amb llama.cpp.

Funcionalitats principals

• Un model quantitzat GGUF de 2 bits basat en Qwen3.8-27B, mida 7.89 GB
• Es centra a preservar la capacitat de crida d'eines i admet crides d'eines paral·leles
• Admet generació de text i pot aconseguir comprensió d'imatges mitjançant un complement de visió opcional
• El mode de pensament està activat per defecte i es pot commutar per petició, consistent amb Qwen3.8
• Compatible amb llama.cpp estàndard per a execució directa

Per a qui és

Usuaris que necessiten executar tasques de crida d'eines i multimodals en models grans però amb recursos de maquinari limitats. Adequats per a desenvolupadors i investigadors que despleguen llama.cpp localment.

Com començar

1. Executeu llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768 per iniciar el servei
2. Per a la capacitat de visió, descarregueu addicionalment mmproj-Underdog-Saluki-27B-1.0-F16.gguf i carregueu-lo amb el paràmetre --mmproj
3. Envieu sol·licituds mitjançant l'API de xat compatible amb OpenAI (port 8080), que admet crides d'eines i control del pensament

Compilat a partir de descripcions públiques del lloc web oficial / README / pàgina de llançament de l'eina. Els preus i el nombre d'usuaris no s'han verificat; consulta el lloc web oficial. Algunes seccions s'han redactat amb ajuda d'IA. Escrit en xinès i anglès; altres idiomes són traduïts automàticament.