改一处要花多少:寻址成本基准测试
在 geml
31fb510b(2026-10-05)上测得:说清楚"改哪里",Markdown 要花 3.29 倍。同一份文档、同一批 11 处修改。Markdown 里指认一个位置,只能把原文引一遍—— 790 字节;GEML 里只要一个地址——240 字节。新增的内容两边完全相同, 已从这个数字里排除,所以剩下的比值全部是格式造成的差异。
这个数字随语料变动,而且变得很多。 语料就是线上的规范本身,每隔 N 个块抽一个, 所以规范一改,抽到哪些块就跟着变。相隔一次文档提交:187efa3c 测出 14.49×—— Markdown 那 4,347 字节里有 3,929 字节是抽中的一张 4 KB 表格,必须整段引回去; 31fb510b 测出 3.29×,那张表已不在样本里。每一次跑都是 GEML 占优;优势有多大, 取决于样本里有没有抽到一个大块。引用这个数字时请带上提交号。
为什么测这个
一份文档写完之后,绝大多数时间花在改它,而每一次修改都分两步:找到那一处, 然后说清楚要改的就是那一处。人用眼睛和滚动条完成第一步,成本不进账; 但当改文档的是程序——编辑器插件、CI 脚本、大模型 agent——两步都要花钱: 读进来的内容是钱,写出去的内容也是钱,而且写出去的更贵。
Markdown 没有稳定的部件名。要指认一段话,只能引用它的原文,而且引到足够长、 在全文唯一为止。GEML 里每个块有地址,指认它就是写下那个地址。
这份基准测试量的就是这个差别。
怎么测的
设计在第一次运行之前就已固定,脚本开头的注释是原文。
| 语料 | geml 仓库里同时存在两种格式的文档:A 组改 Markdown,B 组改 GEML,谁也没拿到更好写的那份。现在只剩一份:英文规范(GEML-spec.md / GEML-spec.geml)。中文 .geml 如今是翻译投射,它的块并不逐字出现在中文 Markdown 里(抽到的 13 个块都被跳过);history 规范则已改为 profile,没有 .geml 版本 |
| 取样 | 机械抽样:每第 N 个可寻址块,每份文档约 12 个,不做人工挑选。唯一排除的是文档级 H1——它的"块"就是整个文件,没有人把一整份文档当作一次修改 |
| 任务 | "替换块 B 的内容"。修改者知道要改什么,不知道它在哪,所以两组都必须先找。搜索短语由一条规则生成——块的第一行 ≥12 字符的内容——两组搜同一个短语 |
| A 组(Markdown) | grep -n 定位 → sed -n '命中,+45p' 读一个 46 行窗口 →(块装不下时再读一次)→ 写出一段唯一的 old_string,再写新内容 |
| B 组(GEML) | geml find 定位并拿到地址 → geml get <地址> 精确读那一块 → 写出地址,再写新内容 |
新增内容两组完全一样,所以不计入"说清楚改哪里"那一项——剩下的就是每种格式 为"指认位置"收的费。
有两处刻意让 A 组占便宜,好让结果是下限而不是漂亮案例:
- 窗口取 46 行,是实测中一个 agent 在真实工作中所用窗口的中位数, 而不是一个保险的大窗口;
old_string按最短唯一前缀计算——即仍然能正确命中的最省写法。
结果
GEML-spec.md 上的 11 处修改,在相隔一次文档提交的两个提交上:
| Markdown | GEML | 31fb510b 比值 | 187efa3c 比值 | |
|---|---|---|---|---|
| 说清楚改哪里(写出去的字节) | 790 | 240 | 3.29× | 14.49×(4,347 / 300) |
| 读进来的字节 | 58,838 | 32,336 | 1.82× | 1.53× |
| 每处修改读进来的中位数 | 3,379 | 2,140 | 1.58× | 2.40× |
| 往返次数 | 25 | 22 | 1.14× | 1.18× |
(Markdown、GEML 两列是 31fb510b 那次的数。)
31fb510b上 GEML 更贵的修改:1 / 11——贵 0.3%(逐处比值 0.997×);187efa3c上是 0 / 11。- 46 行窗口装不下目标块:3 / 11(
187efa3c上 4 / 11)。这时 Markdown 一侧 必须再读一次——而窗口开多大本来就是猜的,猜小了漏内容,猜大了白读。 31fb510b上逐处修改的读取比值:最小 1.00× · 中位 1.97× · 最大 6.98×。 中位数是这里最稳的数:187efa3c上是 1.98×。
这个测试没有证明什么
- 往返次数几乎没省(1.14×)。
find+get是两次调用,grep+sed也是两次。 GEML 省的是每次调用搬多少东西,不是调用次数。 - 块越小,差距越大。规范的块偏大;在块更小的文档上读取比值会更高, 在少数极大的块上会更低。逐处比值的中位数(1.97×)比总量更能代表"典型的一次修改"。
- 这不衡量写作本身。要把一段话写好,需要读懂上下文——这部分成本两种格式一样。 这里量的只是找到它、指认它。
- 只有 1 份文档、11 处修改,来自 geml 仓库。样本很小——"说清楚改哪里"会被一个 大块左右,原因正在这里。语料越多结论越稳,脚本可以直接换语料重跑。
为什么差距在"说清楚改哪里"这一项上最大
因为这一项两种格式的做法根本不同。
Markdown 里没有别的办法:要让一次替换命中正确的位置,就得把原文引够——短了会 撞上文档里另一处相同的文字,改错地方。文档越长、重复的措辞越多,要引的就越长; 一张表格要引到全文唯一为止,187efa3c 的数字大半就是这样被一张表撑起来的。
GEML 里这一步是一个地址:#3-块 或 === table@412f8f61。地址不随内容变长, 也不随文档变长。
而且这一项花的是写出去的字节——对按 token 计费的系统来说,写比读贵。
复现
脚本在本站仓库里,读取一个已构建的 geml 检出:
git clone https://github.com/geml-spec/geml
(cd geml/geml-parser && npm install && npm run build)
git clone https://github.com/geml-spec/geml-spec.github.io && cd geml-spec.github.io
GEML_SRC=../geml node benchmarks/addressing-cost.mjs
GEML_SRC=../geml node benchmarks/addressing-cost.mjs --json > result.json # 逐条数据要复现上面的数字,先把 geml 切到对应提交(git -C ../geml checkout 31fb510b,再重新构建)。 在别的提交上数字会不一样——差多少,正是本页开头那一节要说的。
脚本、语料、抽样规则都在仓库里。要换成你自己的文档,改脚本顶部的 PAIRS—— 需要同一份内容的 Markdown 与 GEML 两个版本,geml <file.md> --from md --to geml 可以生成后者。