Qwen3.8-Flash-Next-FP4-Local

Qwen3.8-Flash-Next-FP4-Local 是什么

NVIDIA发布的Qwen3.8B Flash Next FP4量化版本，本地运行的轻量级大语言模型。

主要功能

• Qwen3.8B Flash Next 的 FP4 量化版本，支持本地运行
• 采用量化感知蒸馏（QAD）技术进行量化
• 支持视觉编码器、混合注意力、MoE、门控残差流和 n-gram 嵌入
• 提供 vLLM 容器以支持新的 NVFP4 无损压缩格式

适合谁

需要在本地 NVIDIA 硬件（如 RTX PRO 6000 Blackwell 或 DGX Spark）上部署和运行轻量级多模态大语言模型的开发者与研究者。

怎么开始用

1. 访问 https://huggingface.co/nvidia/Qwen3.8-Flash-Next-FP4-Local 下载模型权重
2. 使用 README 中提供的 vLLM 容器运行模型
3. 在支持的 NVIDIA RTX PRO 6000 Blackwell 或 DGX Spark 硬件上部署

内容依据工具官网 / README / 发布页公开描述整理，未核实价格与用户规模，请以官网为准。 部分段落由 AI 辅助生成。