Qwen3.8-Flash-Next-FP4-Local

Apakah Qwen3.8-Flash-Next-FP4-Local

Versi Qwen3.8B Flash Next FP4 terkuantiti yang dikeluarkan NVIDIA, model bahasa besar ringan untuk pelaksanaan tempatan.

Ciri utama

• Versi FP4 terkuantiti Qwen3.8B Flash Next, menyokong pelaksanaan tempatan
• Dikuantitikan menggunakan teknologi Quantisation-Aware Distillation (QAD)
• Menyokong pengekod visi, perhatian hibrid, MoE, aliran baki berpintu dan terbenam n-gram
• Menyediakan bekas vLLM untuk menyokong format pemampatan NVFP4 tanpa kehilangan yang baharu

Untuk siapa ia

Pembangun dan penyelidik yang perlu menggunakan dan menjalankan model bahasa besar multimodal ringan pada perkakasan NVIDIA tempatan (seperti RTX PRO 6000 Blackwell atau DGX Spark).

Cara memulakan

1. Lawati https://huggingface.co/nvidia/Qwen3.8-Flash-Next-FP4-Local untuk memuat turun bobot model
2. Jalankan model menggunakan bekas vLLM yang disediakan dalam README
3. Gunakan pada perkakasan NVIDIA RTX PRO 6000 Blackwell atau DGX Spark yang disokong

Disusun daripada penerangan awam di laman web rasmi / README / halaman pelancaran alat. Harga dan bilangan pengguna belum disahkan; sila semak laman web rasmi. Beberapa bahagian disediakan dengan bantuan AI. Ditulis dalam Bahasa Cina dan Inggeris; bahasa lain adalah terjemahan mesin.