一句话总结AraMS-28k 用「多模态 LLM 打草稿 独立参考转写对齐验收 全量人工复核」的流水线建成了迄今最大的公开行级阿拉伯古手稿数据集14 部书、3,043 页、28,600 行标注还首次公开了标明「页边批注该插回正文哪一行」的插入锚点。做 HTR、OCR、低资源 NLP 和数据集工程的开发者都能从这份语料和它的方法论里拿到东西。 导语先问一个可能戳到你的问题让模型识别三百年前的阿拉伯手稿你觉得最难的部分是什么见过真实手稿扫描件的人多半会答「全都难」墨迹褪色、连笔变形、纸张污渍毛病一样不少而它还有个独有的折磨——满页爬着页边批注。做过 OCR光学字符识别把图像里的字变成文本的人都懂版面噪声有多头疼何况这些批注不是装饰在阿拉伯学术传统里它们通常是订正、异读或训诂得「读回」正文特定位置才算数。更绝望的是没米下锅。HTRHandwritten Text Recognition手写文本识别这个领域里拉丁文字的手稿数据集已经卷得飞起阿拉伯语却长期掉队——现有公开资源要么规模太小要么拿现代手写体冒充真手稿要么干脆不记录页边注挂在哪儿。2026 年 9 月发布的 AraMS-28kGuechaoui 等四人arXiv:2608.26921就是来同时填这几个坑的。想自己动手试 论文arXiv 2608.26921 数据集全量标注版Zenodo · doi 10.5281/zenodo.22095333 数据集识别即用版Zenodo · doi 10.5281/zenodo.21499649 构建管线姊妹篇 RefLAMarXiv 2608.25140 这篇论文到底想解决什么问题一句话概括给「历史阿拉伯手稿识别」补上训练弹药并且让页边批注的阅读顺序第一次成为可训练、可评测的对象。现有公开资源为什么不够用论文把案底翻了一遍短板叠了三层规模小RASM2018 这类历史手稿语料只有约 120 页、2,613 行写论文够用训模型远远不够。️不够真KHATT 有 4,000 页但采的是现代手写——没有真实手稿的墨迹退化、连笔变体和页边批注。有手稿没语义RASAM、Muharaf此前公开规模最大的阿拉伯手稿数据集、OpenITI MAKHZAN 确实来自真手稿却没记录某条页边注属于正文阅读流的哪个位置。第三条最要命。不知道页边注挂在正文哪一行之后「阅读顺序恢复」reading-order recovery让模型按人类阅读逻辑排出非线性版面的内容顺序这个任务连题目都出不了——只识别页边写了什么不等于知道它该插回哪行。公开规模上还有个小花絮比它全量更大的 Muharaf 有 36,311 行公开的却只有 1,216 页、24,495 行——约三分之一锁在未公开部分。所以作者把「最大」这个 claim 钉在「公开」两个字上对比口径相当诚实。️ 它是怎么造出来的两万八千行标注怎么来靠人海战术肯定不行。作者的答案是姊妹论文 RefLAM 的参考对齐管线机器打草稿独立真值验收人工分级复核——14 部书约一周建成。图说数据集的「生产流水线」而非识别模型架构。左侧分割与 LLM OCR 产出草稿行中部与独立参考转写对齐打分右侧人工复核覆盖所有行只分快审与全校正两档。流水线拆开是三步✂️切行 LLM 打草稿先用在 Muharaf 上训练的分割模型把每页切成单行再让多模态 LLM 对整页做 OCR顺带区分正文与页边内容——但它的原始输出单独存档绝不直接当真值。独立参考对齐打分每本书配一份独立来源的干净参考转写学术校勘本把 LLM 的 OCR 假设与它逐行对齐每行打 0–100 的置信分满分意味着字符级逐一相同。全量人工复核所有行都要人工签核差别只在深度——满分行走快速复查低分行走完整校正。这套设计的巧妙在于交叉验证参考转写独立于图像产生是已知正确的文本——「模型凭图像独立复现了外部已知正确的内容」就算真验收而不是模型给自己打分。这是整条管线既省钱又不出错的核心。质控还分了两档且统计全程分开报告PV页级验证7 本书、548 页、11,438 行两名评审逐页逐行全检连行分割都人工验证LV行级验证7 本书、2,495 页、16,533 行只保留对齐满分的正文行不达标的直接剔除而非人工改写。想要全人工保证用 PV想要规模用 LV按需取用。 数据长什么样先报家底14 部书、3,043 页、28,600 行行级标注27,971 条正文行 629 条页边行内容横跨 8–16 世纪的古典医学、教法与经注、哲学、神学13 部手抄本之外还收了一部石印本用石版印刷复制书家笔迹的历史印刷技术。书体覆盖三种传统样页分别长这样图说Maghrebi马格里布书体样页——盛行于北非与安达卢西亚的风格正文区域外散落着页边批注。图说Naskh纳斯赫体阿拉伯世界最通用的正楷书体样页book_09可见褪色与低对比墨迹真实手稿的「岁月痕迹」全在里面。图说Ruqah 书体样页book_05一种偏日常的快写书体。划分按书走9 本训练、2 本验证、3 本测试19,739 / 1,486 / 6,746 行同一本书绝不横跨训练与测试杜绝「背页」式泄漏许可证为 CC BY-NC-SA 4.0商用前需留意条款。还有个容易踩的坑被显式拆掉了参考转写来自全元音标注的校勘本每个元音符号都标全而手稿字迹通常不带元音符直接拿去训练等于让模型预测图像上没有的符号。所以每行带两版真值gt_raw校勘本原貌留给元音恢复研究和 gt_normalized剥掉元音符的归一化版页面转写任务用后者——图像上有什么文本里才有什么。✨ 最独特的设计页边批注该插回哪儿标好了前面说的页边挂靠死穴这篇的答案叫插入锚点insertion anchor标明页边批注应插回正文位置的标注——此前没有任何公开的阿拉伯手稿语料做过这件事。图说一条页边批注的锚定实例。彩色区块是分割出的正文行与页边行箭头指向这条批注逻辑上应插入其后的那条正文行。每条页边行的锚点记录line该插在哪条正文行之后、before/after插入点前后的正文词能表达行中插入、rotation页边字迹的粗略方向角。629 条页边行里189 条约 30%拿到了置信锚点。为什么只有三成这是个 precision-first 的取舍没有无歧义挂靠点的——藏书印、后人批注、位置太含糊的——一律保留 null绝不强猜。道理很硬错一个锚就等于往阅读顺序评测里静默注入一份错误标注而 null 明确表达「这里不存在可信挂靠点」它是信息不是缺失。用法也灵活要干净的阅读顺序信号就过滤出那 189 条做评测研究页边内容本身就用全套数据加 null 标志。这个三值 schema有锚 / 置信 null / 不适用也完全可以移植到任何「旁注型」文档上——中文批注本、希伯来注释页都是现成类比。 效果到底怎么样作者用两个开源识别架构做了基线从 Muharaf 预训练检查点出发微调指标是行级 CERCharacter Error Rate字符错误率——模型认错的字符占比越低越好。架构RuqahNaskhMaghrebiOverallKraken11.65%22.62%32.71%23.31%HATFormer13.26%25.37%37.88%26.74%两个架构的排序完全一致Ruqah 最好、Naskh 居中、Maghrebi 最差。有意思的是这个排序不跟训练数据量走——Ruqah 训练行最少3,282 行却最好作者归因于预训练底座 Muharaf 以 Ruqah 为主预训练分布的邻近度比微调时多喂几行更重要。Overall 的读法要留个心眼它按测试书行数加权——Maghrebi 测试书 3,661 行最多Naskh 只有 1,057 行——所以 Overall 被最难的 Maghrebi 拖高别当成「平均书体难度」引用。全文最亮的其实是同一模型在四档条件下的泛化梯度HATFormer条件CER同书未见页同分布6.48%未见书 · Ruqah13.26%未见书 · Naskh25.37%未见书 · Maghrebi37.88%同分布 6.48%换一本同书体的书错误率直接翻倍——对光是「没见过这本书」就这么伤再换书体一路放大到近 6 倍。这条梯度把「分布邻近度决定泛化」从一句口号变成了一条可测量、可刷的靶子。我的读法是它本身就是这个数据集最有复用价值的资产后续任何方法都能在同一把尺子上量自己。还有个佐证去掉 Muharaf 中间微调同分布 CER 从 6.48% 涨到 7.44%——大规模真实历史文本的预训练暴露确实有正迁移。诚实说一句每个书体在测试集里只有一本书per-script 数字里混着书籍自身的特性比如 Naskh 测试书的墨迹退化就特别严重书体难度本身还没被干净地隔离出来。 为什么你要关心️做 HTR / OCR 的识别即用版可以直接拿来微调再用那四档条件给自己的模型跑同一条泛化梯度相当于一份多书体泛化体检表预训练分布的偏差会被它照出来。做数据集工程的PV/LV 双保证级别、分开报告统计、precision-first 锚点、双版本真值——这套质控设计可以整体搬走套到任何「旁注型」文档上。做低资源 NLP 的LLM 打草稿 独立参考对齐 全量人工复核约一周建完 14 部书——这是把标注成本压下来的一条被验证过的路线比纯人肉或纯自动都稳。做阅读顺序恢复的取 189 条置信锚做评测、其余页边行做训练这个任务从今天起有了公开的起点。换个角度看这篇论文真正示范的是「如何诚实地造一个数据集」claim 钉死在公开范围不利的数字全都主动写进 Limitations——这种克制本身就是方法论。 理性看待LV 子集贡献了约 59% 的正文行其正确性完全建立在「对齐满分即正确」之上天然偏向干净扫描和规整字迹。更进一步说这是我的解读非论文结论学术校勘本会据他本订正异读手稿上真实存在的异读可能因此被对齐机制当作 OCR 错误系统性剔除——想拿 LV 子集做文本批评类研究要小心这层隐性偏置。另外几个数字也值得记住约 70% 的页边行没有锚点设计使然用时要过滤且页边行全部集中在人工全检的 PV 子集页边行只占全部标注的 2.2%训页边检测器需要处理类不平衡基线是单次微调运行没有置信区间。许可证 CC BY-NC-SA 4.0商用场景需自行评估。作者lusca 版本lusca-paper-blog v1.5.0 出处https://github.com/yjmm10/lusca-skill/tree/main/skills/lusca-paper-blog AraMS-28k：2.8 万行阿拉伯古手稿逐行标注，连页边批注该插回哪儿都标好了
一句话总结AraMS-28k 用「多模态 LLM 打草稿 独立参考转写对齐验收 全量人工复核」的流水线建成了迄今最大的公开行级阿拉伯古手稿数据集14 部书、3,043 页、28,600 行标注还首次公开了标明「页边批注该插回正文哪一行」的插入锚点。做 HTR、OCR、低资源 NLP 和数据集工程的开发者都能从这份语料和它的方法论里拿到东西。 导语先问一个可能戳到你的问题让模型识别三百年前的阿拉伯手稿你觉得最难的部分是什么见过真实手稿扫描件的人多半会答「全都难」墨迹褪色、连笔变形、纸张污渍毛病一样不少而它还有个独有的折磨——满页爬着页边批注。做过 OCR光学字符识别把图像里的字变成文本的人都懂版面噪声有多头疼何况这些批注不是装饰在阿拉伯学术传统里它们通常是订正、异读或训诂得「读回」正文特定位置才算数。更绝望的是没米下锅。HTRHandwritten Text Recognition手写文本识别这个领域里拉丁文字的手稿数据集已经卷得飞起阿拉伯语却长期掉队——现有公开资源要么规模太小要么拿现代手写体冒充真手稿要么干脆不记录页边注挂在哪儿。2026 年 9 月发布的 AraMS-28kGuechaoui 等四人arXiv:2608.26921就是来同时填这几个坑的。想自己动手试 论文arXiv 2608.26921 数据集全量标注版Zenodo · doi 10.5281/zenodo.22095333 数据集识别即用版Zenodo · doi 10.5281/zenodo.21499649 构建管线姊妹篇 RefLAMarXiv 2608.25140 这篇论文到底想解决什么问题一句话概括给「历史阿拉伯手稿识别」补上训练弹药并且让页边批注的阅读顺序第一次成为可训练、可评测的对象。现有公开资源为什么不够用论文把案底翻了一遍短板叠了三层规模小RASM2018 这类历史手稿语料只有约 120 页、2,613 行写论文够用训模型远远不够。️不够真KHATT 有 4,000 页但采的是现代手写——没有真实手稿的墨迹退化、连笔变体和页边批注。有手稿没语义RASAM、Muharaf此前公开规模最大的阿拉伯手稿数据集、OpenITI MAKHZAN 确实来自真手稿却没记录某条页边注属于正文阅读流的哪个位置。第三条最要命。不知道页边注挂在正文哪一行之后「阅读顺序恢复」reading-order recovery让模型按人类阅读逻辑排出非线性版面的内容顺序这个任务连题目都出不了——只识别页边写了什么不等于知道它该插回哪行。公开规模上还有个小花絮比它全量更大的 Muharaf 有 36,311 行公开的却只有 1,216 页、24,495 行——约三分之一锁在未公开部分。所以作者把「最大」这个 claim 钉在「公开」两个字上对比口径相当诚实。️ 它是怎么造出来的两万八千行标注怎么来靠人海战术肯定不行。作者的答案是姊妹论文 RefLAM 的参考对齐管线机器打草稿独立真值验收人工分级复核——14 部书约一周建成。图说数据集的「生产流水线」而非识别模型架构。左侧分割与 LLM OCR 产出草稿行中部与独立参考转写对齐打分右侧人工复核覆盖所有行只分快审与全校正两档。流水线拆开是三步✂️切行 LLM 打草稿先用在 Muharaf 上训练的分割模型把每页切成单行再让多模态 LLM 对整页做 OCR顺带区分正文与页边内容——但它的原始输出单独存档绝不直接当真值。独立参考对齐打分每本书配一份独立来源的干净参考转写学术校勘本把 LLM 的 OCR 假设与它逐行对齐每行打 0–100 的置信分满分意味着字符级逐一相同。全量人工复核所有行都要人工签核差别只在深度——满分行走快速复查低分行走完整校正。这套设计的巧妙在于交叉验证参考转写独立于图像产生是已知正确的文本——「模型凭图像独立复现了外部已知正确的内容」就算真验收而不是模型给自己打分。这是整条管线既省钱又不出错的核心。质控还分了两档且统计全程分开报告PV页级验证7 本书、548 页、11,438 行两名评审逐页逐行全检连行分割都人工验证LV行级验证7 本书、2,495 页、16,533 行只保留对齐满分的正文行不达标的直接剔除而非人工改写。想要全人工保证用 PV想要规模用 LV按需取用。 数据长什么样先报家底14 部书、3,043 页、28,600 行行级标注27,971 条正文行 629 条页边行内容横跨 8–16 世纪的古典医学、教法与经注、哲学、神学13 部手抄本之外还收了一部石印本用石版印刷复制书家笔迹的历史印刷技术。书体覆盖三种传统样页分别长这样图说Maghrebi马格里布书体样页——盛行于北非与安达卢西亚的风格正文区域外散落着页边批注。图说Naskh纳斯赫体阿拉伯世界最通用的正楷书体样页book_09可见褪色与低对比墨迹真实手稿的「岁月痕迹」全在里面。图说Ruqah 书体样页book_05一种偏日常的快写书体。划分按书走9 本训练、2 本验证、3 本测试19,739 / 1,486 / 6,746 行同一本书绝不横跨训练与测试杜绝「背页」式泄漏许可证为 CC BY-NC-SA 4.0商用前需留意条款。还有个容易踩的坑被显式拆掉了参考转写来自全元音标注的校勘本每个元音符号都标全而手稿字迹通常不带元音符直接拿去训练等于让模型预测图像上没有的符号。所以每行带两版真值gt_raw校勘本原貌留给元音恢复研究和 gt_normalized剥掉元音符的归一化版页面转写任务用后者——图像上有什么文本里才有什么。✨ 最独特的设计页边批注该插回哪儿标好了前面说的页边挂靠死穴这篇的答案叫插入锚点insertion anchor标明页边批注应插回正文位置的标注——此前没有任何公开的阿拉伯手稿语料做过这件事。图说一条页边批注的锚定实例。彩色区块是分割出的正文行与页边行箭头指向这条批注逻辑上应插入其后的那条正文行。每条页边行的锚点记录line该插在哪条正文行之后、before/after插入点前后的正文词能表达行中插入、rotation页边字迹的粗略方向角。629 条页边行里189 条约 30%拿到了置信锚点。为什么只有三成这是个 precision-first 的取舍没有无歧义挂靠点的——藏书印、后人批注、位置太含糊的——一律保留 null绝不强猜。道理很硬错一个锚就等于往阅读顺序评测里静默注入一份错误标注而 null 明确表达「这里不存在可信挂靠点」它是信息不是缺失。用法也灵活要干净的阅读顺序信号就过滤出那 189 条做评测研究页边内容本身就用全套数据加 null 标志。这个三值 schema有锚 / 置信 null / 不适用也完全可以移植到任何「旁注型」文档上——中文批注本、希伯来注释页都是现成类比。 效果到底怎么样作者用两个开源识别架构做了基线从 Muharaf 预训练检查点出发微调指标是行级 CERCharacter Error Rate字符错误率——模型认错的字符占比越低越好。架构RuqahNaskhMaghrebiOverallKraken11.65%22.62%32.71%23.31%HATFormer13.26%25.37%37.88%26.74%两个架构的排序完全一致Ruqah 最好、Naskh 居中、Maghrebi 最差。有意思的是这个排序不跟训练数据量走——Ruqah 训练行最少3,282 行却最好作者归因于预训练底座 Muharaf 以 Ruqah 为主预训练分布的邻近度比微调时多喂几行更重要。Overall 的读法要留个心眼它按测试书行数加权——Maghrebi 测试书 3,661 行最多Naskh 只有 1,057 行——所以 Overall 被最难的 Maghrebi 拖高别当成「平均书体难度」引用。全文最亮的其实是同一模型在四档条件下的泛化梯度HATFormer条件CER同书未见页同分布6.48%未见书 · Ruqah13.26%未见书 · Naskh25.37%未见书 · Maghrebi37.88%同分布 6.48%换一本同书体的书错误率直接翻倍——对光是「没见过这本书」就这么伤再换书体一路放大到近 6 倍。这条梯度把「分布邻近度决定泛化」从一句口号变成了一条可测量、可刷的靶子。我的读法是它本身就是这个数据集最有复用价值的资产后续任何方法都能在同一把尺子上量自己。还有个佐证去掉 Muharaf 中间微调同分布 CER 从 6.48% 涨到 7.44%——大规模真实历史文本的预训练暴露确实有正迁移。诚实说一句每个书体在测试集里只有一本书per-script 数字里混着书籍自身的特性比如 Naskh 测试书的墨迹退化就特别严重书体难度本身还没被干净地隔离出来。 为什么你要关心️做 HTR / OCR 的识别即用版可以直接拿来微调再用那四档条件给自己的模型跑同一条泛化梯度相当于一份多书体泛化体检表预训练分布的偏差会被它照出来。做数据集工程的PV/LV 双保证级别、分开报告统计、precision-first 锚点、双版本真值——这套质控设计可以整体搬走套到任何「旁注型」文档上。做低资源 NLP 的LLM 打草稿 独立参考对齐 全量人工复核约一周建完 14 部书——这是把标注成本压下来的一条被验证过的路线比纯人肉或纯自动都稳。做阅读顺序恢复的取 189 条置信锚做评测、其余页边行做训练这个任务从今天起有了公开的起点。换个角度看这篇论文真正示范的是「如何诚实地造一个数据集」claim 钉死在公开范围不利的数字全都主动写进 Limitations——这种克制本身就是方法论。 理性看待LV 子集贡献了约 59% 的正文行其正确性完全建立在「对齐满分即正确」之上天然偏向干净扫描和规整字迹。更进一步说这是我的解读非论文结论学术校勘本会据他本订正异读手稿上真实存在的异读可能因此被对齐机制当作 OCR 错误系统性剔除——想拿 LV 子集做文本批评类研究要小心这层隐性偏置。另外几个数字也值得记住约 70% 的页边行没有锚点设计使然用时要过滤且页边行全部集中在人工全检的 PV 子集页边行只占全部标注的 2.2%训页边检测器需要处理类不平衡基线是单次微调运行没有置信区间。许可证 CC BY-NC-SA 4.0商用场景需自行评估。作者lusca 版本lusca-paper-blog v1.5.0 出处https://github.com/yjmm10/lusca-skill/tree/main/skills/lusca-paper-blog