本地部署 Qwen3.8-27B 完整指南

引擎选型实测:MTPLX 到底值不值(Qwen3.8-27B / M5 Pro 48GB)

实测于 2026-10-03,机器 M5 Pro / 48GB 统一内存,同一份 27B MLX 权重, 引擎 A = Ollama 0.34.1,引擎 B = MTPLX 2.12.2。 所有数字来自本机实跑,非官方标称、非 benchmark 套模板。

结论先说

日常用 Ollama。MTPLX 装得上、端点标准,但长文吞吐比 Ollama 慢 12~15%,不推荐换。

真正有意思的地方在「为什么」—— 把 MTP 关掉单独测一次,就看清了:

对比 结果
MTPLX 开 MTP vs 关 MTP +102%(11.41 → 23.04 tok/s)
MTPLX(开 MTP)最终结果 vs Ollama −14%(23.04 → 26.61 tok/s)

两个数字不矛盾。MTPLX 的裸解码引擎只有 Ollama 的四成,全靠投机解码拉回来还差一口气。 所以「MTP 值不值」是个错的问法,该问的是「换引擎值不值」——答案是不值。

数据对照

同一条 900 字中文 prompt,max_tokens=1200,各跑 3 轮取中位数:

引擎 首 token 解码 tok/s 端到端 tok/s 总耗时 峰值内存
Ollama 0.34.1(qwen3.8:27b-mlx) 0.17 s 26.61 26.33 45.5 s ~32 GB
MTPLX 2.12.2 turbo + MTP 1.10 s 23.04 22.57 53.2 s 22.7 GB
MTPLX 2.12.2 turbo --no-mtp 2.17 s 11.41 11.18 107.3 s 21.4 GB

各轮原始值(离散 < 5%,说明差距是稳定的不是抖动):

顺手测的 runtime profile:换哪个都赢不了

MTPLX 有六个 --profile(stable / performance-cold / sustained / turbo / exact / max-diagnostic), 27B 旗舰默认自动 resolve 到 turbo。都带 MTP、同一条长文 prompt、各 3 轮:

profile 首 token 解码 tok/s 端到端 tok/s 峰值内存 三轮 decode
turbo 1.10 s 23.04 22.57 22.7 GB 22.90 / 23.17 / 23.04
stable 1.42 s 20.42 19.93 23.4 → 25.9 GB(逐轮涨) 20.42 / 21.01 / 18.23
sustained 1.37 s 18.47 18.11 21.3 → 21.8 GB(压着涨) 20.83 / 18.47 / 17.28

三条:

  1. profile 只改变”用哪种姿势输”。 最快的 turbo 也差 Ollama 14%,sustained 差 31%。 调档是在 MTPLX 内部找相对最优,跟”要不要换引擎”是两个问题。
  2. sustained 这个名字有反讽。 自称”持续吞吐最好”的档,实测最慢,三轮衰减最陡(−17%)。
  3. 稳定性排序 turbo > stable > sustained。 turbo 三轮几乎不掉,另两个逐轮下滑, 长跑场景这个差别会被放大。

内存策略也不同:stable 的峰值从 23.4 GB 涨到 25.9 GB(会话缓存越攒越多), sustained 主动把增长压在 21.8 GB 内。小内存机器上有意义,48 GB 上无所谓。

结论:真装了别改 profile,默认 turbo 就是实测最快的档。 要省内存直接上小模型,比调档有效。

机制:MTP 的钱赚在哪、亏在哪

投机解码的逻辑是「小模型先Draft几个token,大模型一次性验证」。赚不赚,只看一件事:接受率。

MTPLX 会自己吐内部耗时,拆开看:

内部项 值
一个验证轮耗时 84.6 ms
一个验证轮产出(MTP 深度 3) 3 token
摊到每 token ~28 ms
同机裸解码 ~30 ms/token
长文那组接受率 ~56%

一个验证轮 84.6 ms 换 3 个 token,摊下来 28 ms/token,跟裸解码 30 ms/token 基本打平。 MTP 那 100% 的收益,全来自「一次验证收 3 个」这个倍数,不是靠单轮更便宜。 一旦接受率掉下来(长文这里只有 56%),倍数打折,优势立刻缩水到接近零。

推论:短输出 + 高接受率的 workload(代码续写、固定格式生成)才是投机解码的主场。 长文生成用它,基本白给。

官方标的 87.6 tok/s 为什么复现不出来

模型自带的 README 标 87.6 / 65.2 tok/s,本机长文只有 22~27,差近 4 倍。三个原因都不是 bug:

  1. 基准机是 M5 Max,本测是 M5 Pro,同代不同 SKU;
  2. workload 是 “Optimized Speed rewriting a file it just wrote, stock settings” —— 重写刚写完的文件,连贯、接受率高;
  3. 跑的是 stock 设置,长文那组用 turbo profile(已补测 stable 20.42 / sustained 18.47,都是同量级落后)。
  4. 只跑单并发。多请求调度(--scheduler-mode / --batching-preset)与 16 GB 小模型档位未测。

宣传页给的是峰值 workload,不是通用吞吐。拿它跟通用吞吐比,等于拿赛车圈速比家用车油耗。

部署时真会踩的六个坑

  1. brew install mtplx 装不上 —— 报 Xcode Command Line Tools too outdated(要求 Xcode 27.0)。改走 PyPI:python3 -m venv ~/.venvs/mtplx && ~/.venvs/mtplx/bin/pip install mtplx(2.12.2 + 正确版本的 mlx / mlx-lm,6 秒装完)。

  2. mtplx pull 不可用 —— 走代理报 [SSL: UNEXPECTED_EOF_WHILE_READING](Clash 掐 SSL 长连接),而且失败后会删掉未完成文件,进度全丢。手动 curl 分段并行,8 路约 17 MB/s,单流约 2.8 MB/s,10.7 GB 从两小时压到 12 分钟。

  3. mtplx models 看得见模型,mtplx serve 却报 not cached —— 缓存校验查的是清单里 17 个文件齐不齐,不是看目录大小。只放 4 个 safetensors 分片不够,还缺 tokenizer.json、mtp.safetensors、model.safetensors.index.json、mtplx_runtime.json 等(约 1.18 GB)。

  4. 权重分片下坏了,但文件大小完全正确 —— 这个最阴。症状是请求直接返回 non_finite_logits (nan=248320, vocab=248320),整词表 NaN,看大小查不出任何问题。只能验 SHA256:权威值取 HuggingFace API 的 ?blobs=true 返回的 lfs.oid(sha256)。mtplx 自己清单里那个 blob_id 不是内容哈希,别拿它验(小文件也验不上,会误报)。

  5. 两个字段别数错 —— MTPLX 流式里正文在 delta.content、思考在 delta.reasoning_content,只数 content 会得到 chars=0、tok/s 算出天文数字。另外它默认不带 usage,要 stream_options.include_usage。

  6. 两个引擎绝不能同时跑 —— 27B 权重加 KV cache,一个常驻 32 GB、一个峰值 22.7 GB,48 GB 机器直接顶爆。必须串行:跑哪个前一个,跑完再把另一个拉起来。

选型建议

你的情况 建议
长文生成、日常 agent 继续用 Ollama,不要换
短输出 + 高接受率(代码续写、格式生成) 值得自己跑一轮 --no-mtp 对照再决定
内存紧张、想并行别的任务 MTPLX 峰值低 10 GB(21.4 vs 32),这是它唯一实打实的优势
已经装了 MTPLX 想调参 别动 --profile。turbo 就是实测最快的档,改它只会更慢
只看官方 tok/s 就下单 别。用你自己的真实任务跑 3 轮,比看任何宣传页管用

怎么复现

仓库里的 local_bench.py 直接跑(同 prompt、同 token 预算、流式、多轮取中位数,Ollama 与 OpenAI 兼容端通吃):

# Ollama 侧
python3 local_bench.py --kind ollama --base http://127.0.0.1:11434 \
  --model qwen3.8:27b-mlx --prompt long --max-tokens 1200 --rounds 3

# MTPLX 侧(引擎开着的情况下)
python3 local_bench.py --kind openai --base http://127.0.0.1:8000 \
  --model <模型id> --prompt long --max-tokens 1200 --rounds 3

跑之前记得两件事:先预热(打个小请求把模型加载进内存,冷启动会污染中位数), 以及测一个引擎就停掉另一个(见坑 6)。跑完用仓库里的 verify-ollama.sh 把环境复位。

边界说明

没测的部分,说清楚免得被误用: