本地部署 Qwen3.8-27B 完整指南

本地模型会话语境膨胀:1MB 告警的根因与修法

适用:任何”本地部署大模型 + agent 框架(Hermes / Claude Code / CodeX 等)”组合,模型不限 Qwen3.8。 实测环境:Qwen3.8-27B-MLX(Ollama,num_ctx=131072)+ Hermes Agent。 结论先行:这不是模型笨、也不是 thinking 开关的错。是压缩压不住,会话只涨不消。 立规:2026-10-10。


一、你看到的现象

用本地模型(如 Qwen3.8-27B)跑 agent 会话时:

先分清两个口径,这是解开所有困惑的钥匙:

口径 是什么 本地 qwen 表现
落盘体积(1MB) 会话在硬盘上的存档大小,含工具返回、日志、摘要等 涨得飞快
发给模型的 token 数 真正塞进模型窗口参与推理的内容 这才是撞 128K 窗口的原因

你看到的 1MB 是落盘口径,它本身不是”超限”,但它是”超限”的前兆——落盘涨到 1MB 时,真正参与推理的 token 早就逼近 128K 了,于是开始告警。


二、根因:四个机制叠一起(都跟”thinking”无关)

1. 本地 Ollama /v1 是 “silent-clip provider”:拿不到真实 usage

Ollama 的 OpenAI 兼容端点 /v1:

agent 框架大多用流式。于是框架拿不到服务端 token 计数,只能自己粗估(很多框架用 字符数 / 4 估算)。粗估会偏,且只涨不落——因为没有真实 usage 把计数锚点拉回来。

2. 窗口分母比远程小一半

同样的对话,本地的窗口只有远程的一半,所以在远程一半的体积就该压缩了。

3. 压缩摘要”自己压自己”,超时失败 → 只涨不消(本条是主因)

框架的自动压缩(本例 Hermes compression)本该把旧内容总结掉腾空间。但它的摘要模型常配成 provider: auto,意思是”用当前主模型”——于是本地 27B 自己去压缩自己的长会话,慢、容易超时。

一旦摘要失败,而框架又设了”失败就放弃/硬切”(如 abort_on_summary_failure: false),压缩这一步形同虚设,会话体积只涨不消,最后撞窗口。

实证:日志里 60+ 次 no summary model produced output / summary timed out。

4. 旧工具返回不裁剪

每轮工具(grep、read、bash)返回动辄几千字,长会话里全是这些历史 tool 结果,若不主动折叠,越积越多。

重要澄清:reasoning_echo 默认 false,本地模型的 thinking 不进入发送给模型的 token 账本。所以”关掉 thinking”救不了超限——真正的病根是上面 1-4,关 thinking 只是让落盘体积小一点,却让你失去本地模型的推理质量,治标不治本。


三、修法(配置级,不动源码;推荐纯本地方案)

方案 A(推荐 · 纯本地 · 零隐私代价):开 micro_compact + 给压缩更宽超时

框架的 compression 配置块里加:

compression:
  enabled: true
  threshold: 0.3
  target_ratio: 0.2
  protect_last_n: 20
  protect_first_n: 3
  abort_on_summary_failure: false
  # 每轮自动折叠旧工具结果/旧轮次为滚动摘要,纯本地不外发
  micro_compact: true
  micro_compact_every_n_turns: 1

再把压缩摘要的超时放宽(很多框架下限就是 300s,默认 120s 对本地大模型不够):

auxiliary:
  compression:
    provider: auto          # 仍指本地模型,保持数据不出机
    timeout: 300            # 默认 120 → 300,给本地模型跑完的时间

⚠️ 注意 dead key:部分框架在 provider 块下有个 context_length 之类的键看似能改窗口,但代码里可能压根不读它(死键)。改窗口请改模型服务本身的 num_ctx(Ollama 侧),别信框架配置文件里的死键。改完看启动日志打印的 compress at Y% = Z 校验是否生效。

方案 B(兜底 · 摘要外发):摘要模型指一个”压得动”的云端快档

若方案 A 跑一轮后,本地模型 300s 仍压不动(表现为会话还是涨、体积还是大),把摘要交给一个云端快档模型:

auxiliary:
  compression:
    provider: custom
    model: <某个云端快档模型>     # 如 xxx-3.0-flash
    base_url: <对应 endpoint>
    api_key: <对应 key>
    timeout: 300

通用原则(换任何模型都适用)

  1. 压缩摘要要交给”能压得动”的模型:本地够快就本地,否则指云端快档;别让超大模型自己压自己长会话。
  2. 长会话主动分窗:本地模型会话滚到阈值就 /new + checkpoint,别让它单会话硬扛几十轮。
  3. 别靠关 thinking 省体积:那是落盘口径,不是撞窗口的原因,还牺牲推理质量。

易错点钉牢(2026-10-10 复核,防再被误判)

有 agent 在分析本地模型”太老实/不主动”时,下过两个经不起源码与实测推敲的结论,这里钉牢,避免后人照着错方向改:

  1. “threshold: 0.3 在小窗口下会被自动抬到 0.75” —— 错。 源码 agent/agent_init.py 的压缩阈值抬高(autoraise 到 0.85)只在模型命中 Codex GPT-5.4/5.5/5.6、gpt-6-sol/luna、astra 等 Codex OAuth 路由时才生效(auxiliary_client.py:_is_codex_gpt54_or_gpt55)。本地 qwen3.8 不在这个名单里,走的是 threshold = float(cfg.get("threshold", 0.50)),配 0.3 就实打实 0.3,不会被抬。所以”39K 触发”的结论成立。

  2. “think:false 无效、正文掉进 reasoning 字段、content 返空,导致用户侧看不到回答” —— 错。 对 Ollama 实测:content 与 reasoning 是两个独立字段并存,正文在 content、思考在 reasoning,并不互相挤占。

    • 思考态(默认):content="1 + 1 = **2**",reasoning 另有其值,两者都在。
    • options.think:false(注意:是 Ollama 的 options.think,不是 chat 层的 think 字段):正文正常进 content,且明显变快(27s → 1.7s)。

    真正会让”用户看不到回答”的,是 agent 框架读返回的字段名没对上(比如去读 reasoning_content 而 Ollama 实际叫 reasoning),那是集成层的解析坑,不是模型或 Hermes 主链路的 bug。排查”回答空”先查框架解析,别先怪模型。

判别铁律:涉及”模型行为异常”的判断,先看源码 + 对模型服务发一次受控 curl,不轻信任何 agent 的口头结论——它们也会”自信地给出不过脑子的判断”。


四、快速自检清单

排查”本地模型会话膨胀/超限”时,按顺序核对:


五、一句话总结

本地模型会话语境膨胀,不是模型笨、不是 thinking 的锅,是”拿不到真实 token 计数 + 窗口分母小 + 压缩摘要自己压自己超时失败 + 旧工具返回不裁”四个机制叠加。 优先用方案 A(micro_compact + 放宽超时,纯本地);压不住再上方案 B(摘要指云端快档,注意摘要外发)。 换任何本地模型(Qwen / GLM / Llama / Mistral…)遇到同类问题,诊断顺序照搬本文即可。


参考:本条经验来源

2026-10-10 在 Hermes Agent + Qwen3.8-27B-MLX + Ollama 上真实排查得出,含 Ollama /v1 流式 usage 缺失实测、窗口兜底值对比、压缩失败日志计数。相关通用纪律见 agent-infra DISCIPLINES.md D4。