🖥️ 本地跑大模型工具（5 款）
在自己的电脑或服务器上运行大模型，数据不出本机，也不依赖网络。本清单从热榜中筛出与本地运行、量化模型、本地推理相关的工具和模型，按热度排序，内容随热榜自动更新。
数据更新于 2026-10-18 · 价格未核实，以官网为准
1. PolyStrata
PolyStrata 是一个本地运行大语言模型的工具，支持 Qwen3、GLM 5.3、DeepSeek V4、LFM2.5、Gemma 4 等多个模型，可在 Windows 和 Linux 上通过一键安装运行，并提供 OpenAI/Anthropic 兼容的本地 API。 主要功能包括：支持在本地 PC 上运行 Qwen3.8-Flash-Next、GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Gemma 4 等多个大语言模型；提供 Windows 和 Linux 平台的一键安装运行方式；内置 OpenAI 和 Anthropic 兼容的本地 API 服务。 适合需要在本地 PC 上私密运行大语言模型、开发应用集成 AI 功能以及使用本地 API 的开发者、研究者和个人用户。
2. deepseek-local-guide-ru
俄罗斯语完整指南，详细介绍如何在 PC、Mac 和服务器上本地安装运行 DeepSeek V4 和 R1 模型，支持 Ollama、llama.cpp、LM Studio、vLLM、Open WebUI、API、RAG、Agent、fine-tuning 等多种方式。 主要功能包括：提供俄语完整指南，详细说明如何在 PC、Mac 和服务器上本地安装运行 DeepSeek V4 和 R1 模型；支持通过 Ollama 一键运行 DeepSeek-R1 蒸馏模型；支持使用 llama.cpp 运行 DeepSeek V4-Flash 模型。 适合希望在本地 PC、Mac 或服务器上私有运行 DeepSeek 模型的俄语开发者、研究者和爱好者。
3. d3
vllm-sr/d3 是一个基于 vLLM 推理引擎的开源模型仓库，专注于高效部署和推理大型语言模型。 主要功能包括：支持文本或JSON输入，可同时附加多张图像和多个视频；一次调用可处理多种决策类型：多选、是/否、评分，并返回每个答案的概率；无需生成文本，直接输出决策概率。 需要高效进行多模态决策推理的开发者，适合构建选择、判断或评分类应用场景。
4. Qwen3.8-Flash-Next-FP4-Local
NVIDIA发布的Qwen3.8B Flash Next FP4量化版本，本地运行的轻量级大语言模型。 主要功能包括：Qwen3.8B Flash Next 的 FP4 量化版本，支持本地运行；采用量化感知蒸馏（QAD）技术进行量化；支持视觉编码器、混合注意力、MoE、门控残差流和 n-gram 嵌入。 需要在本地 NVIDIA 硬件（如 RTX PRO 6000 Blackwell 或 DGX Spark）上部署和运行轻量级多模态大语言模型的开发者与研究者。
5. Underdog-Saluki-27B-1.0
基于 Qwen3.8-27B 的 2-bit GGUF 量化模型，体积不到 8GB，重点保留工具调用能力，可直接用 llama.cpp 运行。 主要功能包括：基于 Qwen3.8-27B 的 2-bit GGUF 量化模型，体积 7.89GB；重点保留工具调用能力，支持并行工具调用；支持文本生成，并可通过可选 vision add-on 实现图像理解。 需要在大模型上运行工具调用和多模态任务，但硬件资源有限的用户。适合本地部署 llama.cpp 的开发者与研究者。
常见问题
本地跑大模型工具有哪些推荐？
本清单共收录 5 个工具：PolyStrata、deepseek-local-guide-ru、d3、Qwen3.8-Flash-Next-FP4-Local、Underdog-Saluki-27B-1.0。 PolyStrata、deepseek-local-guide-ru、d3、Qwen3.8-Flash-Next-FP4-Local、Underdog-Saluki-27B-1.0 来自每 6 小时更新的 AI热榜。
这些工具收费吗？
价格和免费额度经常调整，本站未逐一核实，请以各工具官网为准。 其中 PolyStrata、deepseek-local-guide-ru、d3、Qwen3.8-Flash-Next-FP4-Local、Underdog-Saluki-27B-1.0 在 GitHub / Hugging Face 公开发布，可查看项目页了解许可证与使用方式。
这份清单多久更新一次？
精选部分由编辑维护；热榜部分随 AI热榜每 6 小时自动更新，本次数据更新于 2026-10-18。
更多清单
🧩 产品经理必备 AI 工具🎮 独立游戏开发 AI 工具💻 AI 编程 / Vibe Coding 工具🎬 AI 视频生成工具✍️ AI 写作工具🤖 AI Agent 搭建工具🎙️ AI 会议纪要与转写工具
周报
每周一封
每周一封，内容是热榜里的「今日 3 条必看」。
免费，不发垃圾邮件，一键退订。