Underdog-Saluki-27B-1.0

Apakah Underdog-Saluki-27B-1.0

Model GGUF terkuantiti 2-bit berasaskan Qwen3.8-27B, dengan saiz di bawah 8GB. Ia memfokuskan pada pengekalan keupayaan panggilan alat dan boleh dijalankan secara langsung dengan llama.cpp.

Ciri utama

• Model GGUF terkuantiti 2-bit berasaskan Qwen3.8-27B, saiz 7.89GB
• Memfokuskan pada pengekalan keupayaan panggilan alat dan menyokong panggilan alat selari
• Menyokong penjanaan teks dan boleh mencapai pemahaman imej melalui tambahan vision pilihan
• Mod pemikiran diaktifkan secara lalai dan boleh ditogol setiap permintaan, selaras dengan Qwen3.8
• Serasi dengan llama.cpp stok untuk pelaksanaan langsung

Untuk siapa ia

Pengguna yang perlu menjalankan tugas pemanggilan alat dan multimodal pada model besar tetapi mempunyai sumber perkakasan terhad. Sesuai untuk pembangun dan penyelidik yang menggunakan llama.cpp secara tempatan.

Cara memulakan

1. Jalankan llama-server -m Underdog-Saluki-27B-1.0-IQ2-mix.gguf --jinja -ngl 99 -fa on -c 32768 untuk memulakan perkhidmatan
2. Untuk keupayaan visi, muat turun tambahan mmproj-Underdog-Saluki-27B-1.0-F16.gguf dan muatkan dengan parameter --mmproj
3. Hantar permintaan melalui API sembang yang serasi dengan OpenAI (port 8080), menyokong panggilan alat dan kawalan pemikiran

Disusun daripada penerangan awam di laman web rasmi / README / halaman pelancaran alat. Harga dan bilangan pengguna belum disahkan; sila semak laman web rasmi. Beberapa bahagian disediakan dengan bantuan AI. Ditulis dalam Bahasa Cina dan Inggeris; bahasa lain adalah terjemahan mesin.