← 返回列表

新工具 7minAI · 教程（模型来自 NVIDIA，权重在 Hugging Face）

用 llama.cpp 本地跑 Nemotron 3.5 Bolt E4B，得到一个 OpenAI 兼容接口

下载一个 6.18 GB 的 Q4_K_M GGUF，用一条 Docker 命令起 llama-server，在本机得到可对话、可开关 thinking、可 tool call 的 OpenAI 兼容端点。

开始尝试

效果

原站没有结果截图；网页给出 NVIDIA 自测的显存与 tokens/s 表格，以及一段可直接照抄的 curl 请求作为成功判据。

这是什么

新在哪里：以前在本机跑小模型做助手多用 Gemma 4 E4B 经 llama.cpp 部署；现在换成 NVIDIA 由 Gemma 4 E4B-it 后训练的 Bolt E4B，一条 Docker 命令即可起服务，并带 enable_thinking、conversational_mode 与可选 DFlash drafter 提速。

怎么做到的：用 hf CLI 从 Hugging Face 未加 gate 的仓库下载 Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf（可选再下 DFlash drafter），以官方 llama.cpp CUDA 13 镜像 b11459 启动 llama-server，带 --jinja、-c 65536、-ngl 999 与 --alias nemotron-bolt，再用 curl 请求 /v1/chat/completions 验证对话。

适合谁
有 NVIDIA GPU（约 8 GB 以上显存）并愿意用 Docker 或命令行起服务的个人开发者
能帮你
用很小的显存代价在本机得到一个支持 thinking 开关、口语化回复与工具调用的 OpenAI 兼容小模型端点。

评分 三项分开看，不合成总分；热度不等于好用

新颖性
全新做法 · 2026-10-24 出现
热度
未知
易上手
需要一些准备
怎么评的

三项都由本站记录的事实按固定规则算出，编辑不能直接改档位；规则改动会写进更新说明。

新颖性

  • ●●● 全新做法，且有来源依据的出现时间在最近 30 天内
  • ●●○ 老工具新用法或近期刚开放，且有来源依据的时间在最近 30 天内
  • ●○○ 出现时间超过 30 天、未核实到精确日期，或已不再是新做法
  • 其他 出现时间未核实、晚于今天，或新颖类型未核实时按最低一档处理，不靠猜测加分

热度

  • ●●● 最近一次每周人工确认为“热门”：最近 14 天里独立讨论、实际案例、持续时间、传播平台、相对关注五项门槛全部满足（规则 heat-v1）
  • ●●○ 最近一次人工确认为“观察中”：前三项至少一项达到，或讨论增长 ≥ 50%，且至少 2 个独立案例
  • ●○○ 最近一次人工确认为“未进入跟踪”
  • 其他 还没有人工确认过的热度记录时显示“未知”。热度只统计本站已接入的信源，不代表全网

易上手

  • ●●● 准备门槛低且难度入门：不需要新账号或付费，首次尝试不超过 30 分钟，公开可用，会复制粘贴即可
  • ●●○ 准备门槛中等，或门槛低但需要改少量代码或配置
  • ●○○ 准备门槛高：需要商业软件或付费服务、首次尝试超过 2 小时、特殊硬件或网络、排队或邀请且无替代方案，或需要专业知识
  • 其他 只有介绍、还没有站内步骤，或关键步骤已失效时显示“暂不可试”；门槛未核实时显示“未核实”

怎么尝试

  • 时间 首次约 40 分钟
  • 费用 免费：模型权重与 llama.cpp 镜像可免费下载，授权为 OpenMDW-1.1；费用主要是本机 GPU/内存与数 GB 下载流量，原站未说明额外费用。
  • 账号 不需要新账号
  • 环境 支持 CUDA 的 NVIDIA GPU 主机（网页以 RTX 5070 12GB、RTX Spark 32GB、Jetson 等测过）；Docker + NVIDIA GPU 支持，或自编译 llama.cpp；Python 环境安装 huggingface_hub 提供 hf 命令；磁盘约 6.2 GB（加 drafter 约 7 GB）。
  • 准备 NVIDIA GPU 主机：网页示例用 --gpus all 跑 CUDA 13 镜像，官方实测用 RTX/Jetson 卡
  • 准备 Docker（含 GPU 支持）：运行 ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459 镜像
  • 准备 huggingface_hub（hf CLI）：下载 GGUF 权重，pip install -U huggingface_hub 即可获得 hf 命令
  • 准备 约 6.2 GB 磁盘空间：存放 Q4_K_M GGUF；用 drafter 再加约 0.74 GB
  • 准备 curl（选用）：向 /v1/chat/completions 发验证请求
  • 准备 DFlash drafter 权重（选用）：可选，启用投机解码提升吞吐

替代方案：Ollama 路线。能做到：网页另给了一条 Ollama 拉取并运行 E4B 的路线，适合不想装 Docker 的用户。；差别：Ollama 在显存低于 24 GiB 的 GPU 上默认只有 4K 上下文，且直接 ollama run nemotron-3.5-bolt 会拉取 25 GB 的 74B 模型文件，需按网页说明选对 E4B 标签。。

完成替代方案不算复现本实践。

按下面的步骤就能做出第一个结果。复制命令不会自动执行。

  1. 安装 hf 命令并设置变量

    安装 huggingface_hub 获得 hf 命令，并按网页设置模型仓库、文件名与本地目录变量。

    bash原始来源命令 
    pip install -U huggingface_hub

    预期结果：终端可执行 hf 命令，变量已指向 E4B 仓库与本地目录

  2. 下载 E4B 权重（可选再下 drafter）

    网页说明仓库未加 gate，不需要接受许可或登录。注意实际文件名没有 NVIDIA- 前缀，照抄 DFlash 模型卡的文件名会报 file-not-found。

    bash原始来源命令 
    hf download "$MODEL_REPO" "$MODEL_FILE" --local-dir "$MODEL_DIR"

    预期结果：$MODEL_DIR 下出现 Nemotron-3.5-Bolt-E4B-Q4_K_M.gguf，约 6.18 GB

  3. 用官方镜像启动 llama-server

    使用 NVIDIA 测试过的 llama.cpp CUDA 13 镜像 b11459，挂载模型目录，--jinja 让 enable_thinking、conversational_mode 与 tool call 生效。

    bash原始来源命令 
    docker run --rm --gpus all -p 8000:8000 -v "$MODEL_DIR:/models:ro" ghcr.io/ggml-org/llama.cpp:server-cuda13-b11459 -m "/models/$MODEL_FILE" --alias nemotron-bolt --host 0.0.0.0 --port 8000 -c 65536 -ngl 999 --jinja

    预期结果：容器启动并在 8000 端口提供 OpenAI 兼容服务

  4. 用 curl 验证对话

    向 /v1/chat/completions 发一条简单算术请求，并在 chat_template_kwargs 里开启 enable_thinking。

    bash原始来源命令 
    curl --fail-with-body -sS http://localhost:8000/v1/chat/completions -H 'Content-Type: application/json' -d '{"model": "nemotron-bolt", "messages": [{"role": "user", "content": "What is 17 multiplied by 23?"}], "temperature": 0.0, "max_tokens": 512, "chat_template_kwargs": {"enable_thinking": true}}'

    预期结果：返回 200 与包含答案的 JSON；若连接被拒或 503，多半是模型仍在加载，稍等重试

  5. 按需换成本地 llama-server 二进制

    若不用 Docker，网页说明自编译 llama.cpp 后用本地 llama-server 二进制跑同样那组 flags。DFlash drafter 的完整启动命令网页节选未给出，需回原页核对后再用。

    预期结果：本地 llama-server 以同样参数启动并在 8000 端口响应

原始来源：本地跑 Nemotron 3.5 Bolt E4B 教程 ↗