Skip to content

一天的真实编辑:混合工具链基准测试 ​

在 geml 31fb510b(2026-10-05)上测得:把这一天 8 处可回放的修改各自交给合适的 GEML 动词,全天读取量降 3.36 倍,说清楚"改哪里"降 12.38 倍。

需要看懂再改的 3 处走 find + get,它们吃掉了全天 81% 的读取;已知旧串的 5 处走 replace,它一个字节都不读。没有一处需要离开 GEML。

这份测试和 寻址成本基准 互补:那份用受控语料量单次修改 的上限,这份看一整天真实工作在按场景选工具之后是什么样。

复现方法见文末《复现》——脚本在本站仓库里,读取一个已构建的 geml 检出。

前提:不是让 agent 只用 GEML ​

一个 agent 手上有很多工具,按场景挑最合适的那个本来就是对的。已知确切旧串的 机械替换,sed 和一次性脚本又快又省;需要看到内容、需要稳定寻址的修改,才轮到 GEML。

所以这份测试问的不是"GEML 能不能取代 sed",而是:把 GEML 只用在它擅长的那类 修改上,一整天下来省多少。

基线不是模型 ​

real-session-edits.json 是一个 agent(Claude)花一整天真实编辑本仓库 README_CN.md 的记录还原:33 处修改,每一处都带着它当时的真实开销——为定位 读进来多少字节、花了几次调用、为了指认位置写出去多少字节。会话日志本身不公开, 这个文件是从中导出的全部内容,可以直接审。

那 33 处是用两种工具做的:

工具次数做法
Edit(一次一处)12先读,再替换一段唯一文本
node 脚本(批量)19一条脚本里多处 s.replace('旧','新'),盲替换,不读内容
Write2整文件写入

在 31fb510b 上 8 处可回放。 其余 25 处里,22 处的落地文本已经不在文档里了—— 它们后来被改写掉了,两种工具都定位不到;另有 3 处没有可搜的短语。这是回放历史 的固有上限,不是偏袒哪一侧;而且 README_CN.md 一直在改,这个上限会继续缩小: 187efa3c 上可回放 9 处。

分工规则(运行前就写死) ​

没有任何一步是"哪个便宜挑哪个"。 分工沿用 agent 当时自己的选择:

  • 可回放的修改里,它当时读了内容再逐处改的 3 处 → geml find + geml get:按内容定位,只读那一块。
  • 可回放的修改里,它当时批量替换做掉的 5 处 → geml replace:旧串已知,不读任何内容。

第二条是新的,也是这次数字和早先几次不同的原因。旧规则把批量那一档留在原命令 上,因为 GEML 当时没有"旧串已经知道"的动词;geml replace 就是那个动词,于是这 条例外的前提消失了。

顺带它戳破了旧规则藏着的一个假设。"盲替换不读内容"并不是这一天实际发生的事: 19 处批量修改里,只有 1 处真的没读。其余都是先读一个窗口、再写一条脚本做好几处 替换——同一次读取被摊给多处修改。而那笔被摊薄的读取,正是 replace 完全消掉的。

GEML 那一侧是现跑的:脚本把 README_CN.md 转成 GEML,然后对每一处修改, 拿它当时落地的文本去 geml find 搜、再 geml get 读出所在的块——两条命令都真跑, 全额计费。

结果 ​

全 Markdown(真实发生的)混合比值
读进来的字节10,6813,1783.36×
说清楚"改哪里"(写出去的字节)2,53720512.38×

(geml 31fb510b。在 187efa3c 上可回放 9 处:3.23× 和 11.60×。)

钱花在哪:

n读进来说清楚改哪里
批量替换(走 replace)52,070 → 1,265旧串同样要写,不计入差异
需要寻址(find + get)38,611 → 1,9132,386 → 54

这才是重点:那 3 处只占 8 处里的 3 处,却占了全天读取量的 81%。 "必须看懂再改"的修改数量少、单价高,GEML 省下的正落在这一部分。

一个对照:replace 之前是什么样 ​

同一批修改,假如 GEML 没有 replace,只有 2.68×——因为批量那 5 处必须 离开 GEML,它们在原命令上读掉的 2,070 字节原样计入。

2.68× 到 3.36× 之间的差距,就是一个动词的价值。 它没有让 GEML 更会替换字符串 (sed 一直会),它只是让那 5 处修改不必再离开——而离开的代价不只是字节:走出去 的那些写入不重解析、不报告、不进历史、写坏了没人拦。

一次性成本 ​

把 Markdown 文档搬成 GEML 不是免费的,脚本把这笔账摆在明面上:12 个 <a id="…"></a> 裸 HTML 锚点被折叠成了标题 id。中文 README 现在靠塞 HTML 给小节 命名,因为 Markdown 没有别的办法;GEML 里标题自己带 id。这一步是自动的,但它是 真实发生的转换工作。

这个测试没有证明什么 ​

  • 不是"GEML 全面更省"。 省下来的是读取:replace 说清"改哪里"用的仍是 旧串,和脚本一模一样,所以那一栏两侧同价——12.38× 全部来自另外 3 处。
  • 只有一份文档、8 处可回放的修改。 这是回放真实历史能拿到的样本上限,小到一处修改 就能挪动比值;受控样本见 寻址成本基准。
  • 不衡量写作本身。 把一段话写好需要读懂上下文,这部分两种格式一样贵。
  • 数字会随语料漂。 这份测试读的是 geml 仓库里真实的 README_CN.md,改了它数字就变; 引用时请带上提交号。

复现 ​

脚本在本站仓库里,读取一个已构建的 geml 检出:

sh
git clone https://github.com/geml-spec/geml
(cd geml/geml-parser && npm install && npm run build)
git clone https://github.com/geml-spec/geml-spec.github.io && cd geml-spec.github.io
GEML_SRC=../geml node benchmarks/real-session-replay.mjs
GEML_SRC=../geml node benchmarks/real-session-replay.mjs --json > result.json   # 逐条数据

要复现上面的数字,先把 geml 切到 31fb510b 再重新构建。

benchmarks/real-session-edits.json 是冻结的基线数据集,可以逐条审;GEML 那一侧 每次运行都是现跑的,所以 CLI 一变,数字就会跟着变。

Code MIT · Specification CC BY 4.0