Qwen3.8-Flash-Next-FP4-Local

Hva er Qwen3.8-Flash-Next-FP4-Local

NVIDIA-utgitt Qwen3.8B Flash Next FP4-kvantisert versjon, en lettvekts stor språkmodell for lokal kjøring.

Viktige funksjoner

• FP4-kvantisert versjon av Qwen3.8B Flash Next, som støtter lokal kjøring
• Kvantisert ved hjelp av Quantisation-Aware Distillation (QAD)-teknologi
• Støtter visjonsenkoder, hybrid oppmerksomhet, MoE, gated residual streams og n-gram-innebygginger
• Tilbyr en vLLM-container for å støtte det nye NVFP4 tapsfrie komprimeringsformatet

Hvem det er for

Utviklere og forskere som trenger å deploye og kjøre lettvekts multimodale store språkmodeller på lokal NVIDIA-maskinvare (slik som RTX PRO 6000 Blackwell eller DGX Spark).

Hvordan komme i gang

1. Besøk https://huggingface.co/nvidia/Qwen3.8-Flash-Next-FP4-Local for å laste ned modellvektene
2. Kjør modellen ved hjelp av vLLM-containeren som er oppgitt i README
3. Deploy på støttet NVIDIA RTX PRO 6000 Blackwell eller DGX Spark-maskinvare

Sammensatt fra offentlige beskrivelser på verktøyets offisielle nettsted / README / lanseringsside. Priser og brukertall er ikke verifisert; vennligst sjekk det offisielle nettstedet. Noen seksjoner ble utarbeidet med hjelp fra AI. Skrevet på kinesisk og engelsk; andre språk er maskinoversatt.