适用:任何”本地部署大模型 + agent 框架(Hermes / Claude Code / CodeX 等)”组合,模型不限 Qwen3.8。 实测环境:Qwen3.8-27B-MLX(Ollama,
num_ctx=131072)+ Hermes Agent。 结论先行:这不是模型笨、也不是 thinking 开关的错。是压缩压不住,会话只涨不消。 立规:2026-10-10。
用本地模型(如 Qwen3.8-27B)跑 agent 会话时:
先分清两个口径,这是解开所有困惑的钥匙:
| 口径 | 是什么 | 本地 qwen 表现 |
|---|---|---|
| 落盘体积(1MB) | 会话在硬盘上的存档大小,含工具返回、日志、摘要等 | 涨得飞快 |
| 发给模型的 token 数 | 真正塞进模型窗口参与推理的内容 | 这才是撞 128K 窗口的原因 |
你看到的 1MB 是落盘口径,它本身不是”超限”,但它是”超限”的前兆——落盘涨到 1MB 时,真正参与推理的 token 早就逼近 128K 了,于是开始告警。
/v1 是 “silent-clip provider”:拿不到真实 usageOllama 的 OpenAI 兼容端点 /v1:
usage(实测”说一句你好”= 12 prompt_tokens,精准)。agent 框架大多用流式。于是框架拿不到服务端 token 计数,只能自己粗估(很多框架用 字符数 / 4 估算)。粗估会偏,且只涨不落——因为没有真实 usage 把计数锚点拉回来。
num_ctx=131072)。同样的对话,本地的窗口只有远程的一半,所以在远程一半的体积就该压缩了。
框架的自动压缩(本例 Hermes compression)本该把旧内容总结掉腾空间。但它的摘要模型常配成 provider: auto,意思是”用当前主模型”——于是本地 27B 自己去压缩自己的长会话,慢、容易超时。
一旦摘要失败,而框架又设了”失败就放弃/硬切”(如 abort_on_summary_failure: false),压缩这一步形同虚设,会话体积只涨不消,最后撞窗口。
实证:日志里 60+ 次 no summary model produced output / summary timed out。
每轮工具(grep、read、bash)返回动辄几千字,长会话里全是这些历史 tool 结果,若不主动折叠,越积越多。
重要澄清:
reasoning_echo默认false,本地模型的 thinking 不进入发送给模型的 token 账本。所以”关掉 thinking”救不了超限——真正的病根是上面 1-4,关 thinking 只是让落盘体积小一点,却让你失去本地模型的推理质量,治标不治本。
框架的 compression 配置块里加:
compression:
enabled: true
threshold: 0.3
target_ratio: 0.2
protect_last_n: 20
protect_first_n: 3
abort_on_summary_failure: false
# 每轮自动折叠旧工具结果/旧轮次为滚动摘要,纯本地不外发
micro_compact: true
micro_compact_every_n_turns: 1
再把压缩摘要的超时放宽(很多框架下限就是 300s,默认 120s 对本地大模型不够):
auxiliary:
compression:
provider: auto # 仍指本地模型,保持数据不出机
timeout: 300 # 默认 120 → 300,给本地模型跑完的时间
micro_compact:每轮把最旧的未吸收的一轮交互折叠进滚动摘要,旧工具返回被裁掉,直接压住膨胀源头。timeout: 300:给本地 27B 足够时间压完自己,不超时就不失败,压缩才真正起作用。⚠️ 注意 dead key:部分框架在
provider块下有个context_length之类的键看似能改窗口,但代码里可能压根不读它(死键)。改窗口请改模型服务本身的num_ctx(Ollama 侧),别信框架配置文件里的死键。改完看启动日志打印的compress at Y% = Z校验是否生效。
若方案 A 跑一轮后,本地模型 300s 仍压不动(表现为会话还是涨、体积还是大),把摘要交给一个云端快档模型:
auxiliary:
compression:
provider: custom
model: <某个云端快档模型> # 如 xxx-3.0-flash
base_url: <对应 endpoint>
api_key: <对应 key>
timeout: 300
/new + checkpoint,别让它单会话硬扛几十轮。有 agent 在分析本地模型”太老实/不主动”时,下过两个经不起源码与实测推敲的结论,这里钉牢,避免后人照着错方向改:
“threshold: 0.3 在小窗口下会被自动抬到 0.75” —— 错。
源码 agent/agent_init.py 的压缩阈值抬高(autoraise 到 0.85)只在模型命中 Codex GPT-5.4/5.5/5.6、gpt-6-sol/luna、astra 等 Codex OAuth 路由时才生效(auxiliary_client.py:_is_codex_gpt54_or_gpt55)。本地 qwen3.8 不在这个名单里,走的是 threshold = float(cfg.get("threshold", 0.50)),配 0.3 就实打实 0.3,不会被抬。所以”39K 触发”的结论成立。
“think:false 无效、正文掉进 reasoning 字段、content 返空,导致用户侧看不到回答” —— 错。
对 Ollama 实测:content 与 reasoning 是两个独立字段并存,正文在 content、思考在 reasoning,并不互相挤占。
content="1 + 1 = **2**",reasoning 另有其值,两者都在。options.think:false(注意:是 Ollama 的 options.think,不是 chat 层的 think 字段):正文正常进 content,且明显变快(27s → 1.7s)。真正会让”用户看不到回答”的,是 agent 框架读返回的字段名没对上(比如去读 reasoning_content 而 Ollama 实际叫 reasoning),那是集成层的解析坑,不是模型或 Hermes 主链路的 bug。排查”回答空”先查框架解析,别先怪模型。
判别铁律:涉及”模型行为异常”的判断,先看源码 + 对模型服务发一次受控 curl,不轻信任何 agent 的口头结论——它们也会”自信地给出不过脑子的判断”。
排查”本地模型会话膨胀/超限”时,按顺序核对:
num_ctx 是多少?ollama ps 看实际 CONTEXT。context_length 是真键还是死键?(grep 源码确认它被读取)auto(自己压自己)还是指了外部模型?超时多少?日志里有没有 summary failed?本地模型会话语境膨胀,不是模型笨、不是 thinking 的锅,是”拿不到真实 token 计数 + 窗口分母小 + 压缩摘要自己压自己超时失败 + 旧工具返回不裁”四个机制叠加。 优先用方案 A(micro_compact + 放宽超时,纯本地);压不住再上方案 B(摘要指云端快档,注意摘要外发)。 换任何本地模型(Qwen / GLM / Llama / Mistral…)遇到同类问题,诊断顺序照搬本文即可。
2026-10-10 在 Hermes Agent + Qwen3.8-27B-MLX + Ollama 上真实排查得出,含 Ollama /v1 流式 usage 缺失实测、窗口兜底值对比、压缩失败日志计数。相关通用纪律见 agent-infra DISCIPLINES.md D4。