Skip to content

改一处要花多少:寻址成本基准测试 ​

在 geml 31fb510b(2026-10-05)上测得:说清楚"改哪里",Markdown 要花 3.29 倍。

同一份文档、同一批 11 处修改。Markdown 里指认一个位置,只能把原文引一遍—— 790 字节;GEML 里只要一个地址——240 字节。新增的内容两边完全相同, 已从这个数字里排除,所以剩下的比值全部是格式造成的差异。

这个数字随语料变动,而且变得很多。 语料就是线上的规范本身,每隔 N 个块抽一个, 所以规范一改,抽到哪些块就跟着变。相隔一次文档提交:187efa3c 测出 14.49×—— Markdown 那 4,347 字节里有 3,929 字节是抽中的一张 4 KB 表格,必须整段引回去; 31fb510b 测出 3.29×,那张表已不在样本里。每一次跑都是 GEML 占优;优势有多大, 取决于样本里有没有抽到一个大块。引用这个数字时请带上提交号。

为什么测这个 ​

一份文档写完之后,绝大多数时间花在改它,而每一次修改都分两步:找到那一处, 然后说清楚要改的就是那一处。人用眼睛和滚动条完成第一步,成本不进账; 但当改文档的是程序——编辑器插件、CI 脚本、大模型 agent——两步都要花钱: 读进来的内容是钱,写出去的内容也是钱,而且写出去的更贵。

Markdown 没有稳定的部件名。要指认一段话,只能引用它的原文,而且引到足够长、 在全文唯一为止。GEML 里每个块有地址,指认它就是写下那个地址。

这份基准测试量的就是这个差别。

怎么测的 ​

设计在第一次运行之前就已固定,脚本开头的注释是原文。

语料geml 仓库里同时存在两种格式的文档:A 组改 Markdown,B 组改 GEML,谁也没拿到更好写的那份。现在只剩一份:英文规范(GEML-spec.md / GEML-spec.geml)。中文 .geml 如今是翻译投射,它的块并不逐字出现在中文 Markdown 里(抽到的 13 个块都被跳过);history 规范则已改为 profile,没有 .geml 版本
取样机械抽样:每第 N 个可寻址块,每份文档约 12 个,不做人工挑选。唯一排除的是文档级 H1——它的"块"就是整个文件,没有人把一整份文档当作一次修改
任务"替换块 B 的内容"。修改者知道要改什么,不知道它在哪,所以两组都必须先找。搜索短语由一条规则生成——块的第一行 ≥12 字符的内容——两组搜同一个短语
A 组(Markdown)grep -n 定位 → sed -n '命中,+45p' 读一个 46 行窗口 →(块装不下时再读一次)→ 写出一段唯一的 old_string,再写新内容
B 组(GEML)geml find 定位并拿到地址 → geml get <地址> 精确读那一块 → 写出地址,再写新内容

新增内容两组完全一样,所以不计入"说清楚改哪里"那一项——剩下的就是每种格式 为"指认位置"收的费。

有两处刻意让 A 组占便宜,好让结果是下限而不是漂亮案例:

  • 窗口取 46 行,是实测中一个 agent 在真实工作中所用窗口的中位数, 而不是一个保险的大窗口;
  • old_string 按最短唯一前缀计算——即仍然能正确命中的最省写法。

结果 ​

GEML-spec.md 上的 11 处修改,在相隔一次文档提交的两个提交上:

MarkdownGEML31fb510b 比值187efa3c 比值
说清楚改哪里(写出去的字节)7902403.29×14.49×(4,347 / 300)
读进来的字节58,83832,3361.82×1.53×
每处修改读进来的中位数3,3792,1401.58×2.40×
往返次数25221.14×1.18×

(Markdown、GEML 两列是 31fb510b 那次的数。)

  • 31fb510b 上 GEML 更贵的修改:1 / 11——贵 0.3%(逐处比值 0.997×); 187efa3c 上是 0 / 11。
  • 46 行窗口装不下目标块:3 / 11(187efa3c 上 4 / 11)。这时 Markdown 一侧 必须再读一次——而窗口开多大本来就是猜的,猜小了漏内容,猜大了白读。
  • 31fb510b 上逐处修改的读取比值:最小 1.00× · 中位 1.97× · 最大 6.98×。 中位数是这里最稳的数:187efa3c 上是 1.98×。

这个测试没有证明什么 ​

  • 往返次数几乎没省(1.14×)。find + get 是两次调用,grep + sed 也是两次。 GEML 省的是每次调用搬多少东西,不是调用次数。
  • 块越小,差距越大。规范的块偏大;在块更小的文档上读取比值会更高, 在少数极大的块上会更低。逐处比值的中位数(1.97×)比总量更能代表"典型的一次修改"。
  • 这不衡量写作本身。要把一段话写好,需要读懂上下文——这部分成本两种格式一样。 这里量的只是找到它、指认它。
  • 只有 1 份文档、11 处修改,来自 geml 仓库。样本很小——"说清楚改哪里"会被一个 大块左右,原因正在这里。语料越多结论越稳,脚本可以直接换语料重跑。

为什么差距在"说清楚改哪里"这一项上最大 ​

因为这一项两种格式的做法根本不同。

Markdown 里没有别的办法:要让一次替换命中正确的位置,就得把原文引够——短了会 撞上文档里另一处相同的文字,改错地方。文档越长、重复的措辞越多,要引的就越长; 一张表格要引到全文唯一为止,187efa3c 的数字大半就是这样被一张表撑起来的。

GEML 里这一步是一个地址:#3-块 或 === table@412f8f61。地址不随内容变长, 也不随文档变长。

而且这一项花的是写出去的字节——对按 token 计费的系统来说,写比读贵。

复现 ​

脚本在本站仓库里,读取一个已构建的 geml 检出:

sh
git clone https://github.com/geml-spec/geml
(cd geml/geml-parser && npm install && npm run build)
git clone https://github.com/geml-spec/geml-spec.github.io && cd geml-spec.github.io
GEML_SRC=../geml node benchmarks/addressing-cost.mjs
GEML_SRC=../geml node benchmarks/addressing-cost.mjs --json > result.json   # 逐条数据

要复现上面的数字,先把 geml 切到对应提交(git -C ../geml checkout 31fb510b,再重新构建)。 在别的提交上数字会不一样——差多少,正是本页开头那一节要说的。

脚本、语料、抽样规则都在仓库里。要换成你自己的文档,改脚本顶部的 PAIRS—— 需要同一份内容的 Markdown 与 GEML 两个版本,geml <file.md> --from md --to geml 可以生成后者。

Code MIT · Specification CC BY 4.0