实测于 2026-10-03,机器 M5 Pro / 48GB 统一内存,同一份 27B MLX 权重, 引擎 A = Ollama 0.34.1,引擎 B = MTPLX 2.12.2。 所有数字来自本机实跑,非官方标称、非 benchmark 套模板。
日常用 Ollama。MTPLX 装得上、端点标准,但长文吞吐比 Ollama 慢 12~15%,不推荐换。
真正有意思的地方在「为什么」—— 把 MTP 关掉单独测一次,就看清了:
| 对比 | 结果 |
|---|---|
| MTPLX 开 MTP vs 关 MTP | +102%(11.41 → 23.04 tok/s) |
| MTPLX(开 MTP)最终结果 vs Ollama | −14%(23.04 → 26.61 tok/s) |
两个数字不矛盾。MTPLX 的裸解码引擎只有 Ollama 的四成,全靠投机解码拉回来还差一口气。 所以「MTP 值不值」是个错的问法,该问的是「换引擎值不值」——答案是不值。
同一条 900 字中文 prompt,max_tokens=1200,各跑 3 轮取中位数:
| 引擎 | 首 token | 解码 tok/s | 端到端 tok/s | 总耗时 | 峰值内存 |
|---|---|---|---|---|---|
Ollama 0.34.1(qwen3.8:27b-mlx) |
0.17 s | 26.61 | 26.33 | 45.5 s | ~32 GB |
MTPLX 2.12.2 turbo + MTP |
1.10 s | 23.04 | 22.57 | 53.2 s | 22.7 GB |
MTPLX 2.12.2 turbo --no-mtp |
2.17 s | 11.41 | 11.18 | 107.3 s | 21.4 GB |
各轮原始值(离散 < 5%,说明差距是稳定的不是抖动):
MTPLX 有六个 --profile(stable / performance-cold / sustained / turbo / exact / max-diagnostic),
27B 旗舰默认自动 resolve 到 turbo。都带 MTP、同一条长文 prompt、各 3 轮:
| profile | 首 token | 解码 tok/s | 端到端 tok/s | 峰值内存 | 三轮 decode |
|---|---|---|---|---|---|
turbo |
1.10 s | 23.04 | 22.57 | 22.7 GB | 22.90 / 23.17 / 23.04 |
stable |
1.42 s | 20.42 | 19.93 | 23.4 → 25.9 GB(逐轮涨) | 20.42 / 21.01 / 18.23 |
sustained |
1.37 s | 18.47 | 18.11 | 21.3 → 21.8 GB(压着涨) | 20.83 / 18.47 / 17.28 |
三条:
sustained 差 31%。
调档是在 MTPLX 内部找相对最优,跟”要不要换引擎”是两个问题。sustained 这个名字有反讽。 自称”持续吞吐最好”的档,实测最慢,三轮衰减最陡(−17%)。内存策略也不同:stable 的峰值从 23.4 GB 涨到 25.9 GB(会话缓存越攒越多),
sustained 主动把增长压在 21.8 GB 内。小内存机器上有意义,48 GB 上无所谓。
结论:真装了别改 profile,默认 turbo 就是实测最快的档。 要省内存直接上小模型,比调档有效。
投机解码的逻辑是「小模型先Draft几个token,大模型一次性验证」。赚不赚,只看一件事:接受率。
MTPLX 会自己吐内部耗时,拆开看:
| 内部项 | 值 |
|---|---|
| 一个验证轮耗时 | 84.6 ms |
| 一个验证轮产出(MTP 深度 3) | 3 token |
| 摊到每 token | ~28 ms |
| 同机裸解码 | ~30 ms/token |
| 长文那组接受率 | ~56% |
一个验证轮 84.6 ms 换 3 个 token,摊下来 28 ms/token,跟裸解码 30 ms/token 基本打平。 MTP 那 100% 的收益,全来自「一次验证收 3 个」这个倍数,不是靠单轮更便宜。 一旦接受率掉下来(长文这里只有 56%),倍数打折,优势立刻缩水到接近零。
推论:短输出 + 高接受率的 workload(代码续写、固定格式生成)才是投机解码的主场。 长文生成用它,基本白给。
模型自带的 README 标 87.6 / 65.2 tok/s,本机长文只有 22~27,差近 4 倍。三个原因都不是 bug:
turbo profile(已补测 stable 20.42 / sustained 18.47,都是同量级落后)。--scheduler-mode / --batching-preset)与 16 GB 小模型档位未测。宣传页给的是峰值 workload,不是通用吞吐。拿它跟通用吞吐比,等于拿赛车圈速比家用车油耗。
brew install mtplx 装不上 —— 报 Xcode Command Line Tools too outdated(要求 Xcode 27.0)。改走 PyPI:python3 -m venv ~/.venvs/mtplx && ~/.venvs/mtplx/bin/pip install mtplx(2.12.2 + 正确版本的 mlx / mlx-lm,6 秒装完)。
mtplx pull 不可用 —— 走代理报 [SSL: UNEXPECTED_EOF_WHILE_READING](Clash 掐 SSL 长连接),而且失败后会删掉未完成文件,进度全丢。手动 curl 分段并行,8 路约 17 MB/s,单流约 2.8 MB/s,10.7 GB 从两小时压到 12 分钟。
mtplx models 看得见模型,mtplx serve 却报 not cached —— 缓存校验查的是清单里 17 个文件齐不齐,不是看目录大小。只放 4 个 safetensors 分片不够,还缺 tokenizer.json、mtp.safetensors、model.safetensors.index.json、mtplx_runtime.json 等(约 1.18 GB)。
权重分片下坏了,但文件大小完全正确 —— 这个最阴。症状是请求直接返回 non_finite_logits (nan=248320, vocab=248320),整词表 NaN,看大小查不出任何问题。只能验 SHA256:权威值取 HuggingFace API 的 ?blobs=true 返回的 lfs.oid(sha256)。mtplx 自己清单里那个 blob_id 不是内容哈希,别拿它验(小文件也验不上,会误报)。
两个字段别数错 —— MTPLX 流式里正文在 delta.content、思考在 delta.reasoning_content,只数 content 会得到 chars=0、tok/s 算出天文数字。另外它默认不带 usage,要 stream_options.include_usage。
两个引擎绝不能同时跑 —— 27B 权重加 KV cache,一个常驻 32 GB、一个峰值 22.7 GB,48 GB 机器直接顶爆。必须串行:跑哪个前一个,跑完再把另一个拉起来。
| 你的情况 | 建议 |
|---|---|
| 长文生成、日常 agent | 继续用 Ollama,不要换 |
| 短输出 + 高接受率(代码续写、格式生成) | 值得自己跑一轮 --no-mtp 对照再决定 |
| 内存紧张、想并行别的任务 | MTPLX 峰值低 10 GB(21.4 vs 32),这是它唯一实打实的优势 |
| 已经装了 MTPLX 想调参 | 别动 --profile。turbo 就是实测最快的档,改它只会更慢 |
| 只看官方 tok/s 就下单 | 别。用你自己的真实任务跑 3 轮,比看任何宣传页管用 |
仓库里的 local_bench.py 直接跑(同 prompt、同 token 预算、流式、多轮取中位数,Ollama 与 OpenAI 兼容端通吃):
# Ollama 侧
python3 local_bench.py --kind ollama --base http://127.0.0.1:11434 \
--model qwen3.8:27b-mlx --prompt long --max-tokens 1200 --rounds 3
# MTPLX 侧(引擎开着的情况下)
python3 local_bench.py --kind openai --base http://127.0.0.1:8000 \
--model <模型id> --prompt long --max-tokens 1200 --rounds 3
跑之前记得两件事:先预热(打个小请求把模型加载进内存,冷启动会污染中位数),
以及测一个引擎就停掉另一个(见坑 6)。跑完用仓库里的 verify-ollama.sh 把环境复位。
没测的部分,说清楚免得被误用:
turbo profile,stable / sustained / performance-cold 没测;--scheduler-mode / --batching-preset)没测 —— 理论上 MTPLX 的优势面在并发更大;