Underdog-Saluki-27B-1.0

Hva er Underdog-Saluki-27B-1.0

En 2-bit GGUF-kvantisert modell basert på Qwen3.8-27B, med en størrelse under 8 GB. Den fokuserer på å bevare tool-calling-evne og kan kjøres direkte med llama.cpp.

Viktige funksjoner

• En 2-bit GGUF-kvantisert modell basert på Qwen3.8-27B, størrelse 7.89 GB
• Fokuserer på å bevare tool-calling-evne og støtter parallelle tool calls
• Støtter tekstgenerering og kan oppnå bildeforståelse via et valgfritt visjonstillegg
• Thinking-modus er aktivert som standard og kan slås av/på per forespørsel, i tråd med Qwen3.8
• Kompatibel med stock llama.cpp for direkte kjøring

Hvem det er for

Brukere som trenger å kjøre verktøy-kalling og multimodale oppgaver på store modeller, men har begrensede maskinvareressurser. Passer for utviklere og forskere som deployer llama.cpp lokalt.

Hvordan komme i gang

1. Kjør llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768 for å starte tjenesten
2. For visjon-funksjonalitet, last i tillegg ned mmproj-Underdog-Saluki-27B-1.0-F16.gguf og last den med --mmproj-parameteren
3. Send forespørsler via OpenAI-kompatibelt chat-API (port 8080), som støtter verktøy-kall og kontroll av tenking

Sammensatt fra offentlige beskrivelser på verktøyets offisielle nettsted / README / lanseringsside. Priser og brukertall er ikke verifisert; vennligst sjekk det offisielle nettstedet. Noen seksjoner ble utarbeidet med hjelp fra AI. Skrevet på kinesisk og engelsk; andre språk er maskinoversatt.