8 月 11 日，享誉全球的 Annual Meeting of the Association for Computational Linguistics (计算语言学协会年度会议，简称 ACL) 在泰国曼谷正式开幕。ACL 2024 为期 6 天，除主会外，还有 34 场 Workshops。
自 2022 年起，ACL 启用了滚动审稿机制 (ACL Rolling Review, ARR)，每月设定一个截止日期。今年 1 月，官方还宣布了一项利好消息——论文投稿取消匿名期，同时允许作者在投稿期间宣传自身工作。这一规定也在公布后的下一个审稿周期直接生效。
根据官方数据显示，今年的主会录用率为 21.3%，Findings 录用率为 22.1%。
值得一提的是，ACL 2024 还增加了一个特别专题「Open science, open data, and open models for reproducible NLP research」，该专题接收高质量开源数据集、开源模型、开源软件等相关研究成果，旨在激发业内有关开放科学和可重现 NLP 研究的讨论，并支持开源软件发展。
8 月 14 日，ACL 2024 的一系列奖项陆续公布。该专题接收了 22 篇主会论文，获得专题论文奖的是「OLMo: Accelerating the Science of Language Models」。
论文地址： https://arxiv.org/pdf/2402.00838
图源：谷歌 DeepMind 研究员 Shmuhammadd
时间测试奖 (Test of Time Award) 颁给了 2014 年发表的「GloVe: Global Vectors for Word RepresentationGloVe」。
论文地址： https://aclanthology.org/D14-1162.pdf
图源：谷歌 DeepMind 研究员 Shmuhammadd
此外，ACL 2024 还评选出了 7 篇最佳论文，华中科技大学、阿德莱德大学、安阳师范学院、华南理工大学共同发表的「Deciphering Oracle Bone Language with Diffusion Models」荣获最佳论文，第一作者为华中科技大学软件学院院长白翔教授团队 2021 级本科生管海粟。HyperAI超神经将在本文为大家带来详细解读。
关注公众号，后台回复「ACL 2024」即可下载所有获奖论文
剩余 6 篇获奖论文分别是：
Causal Estimation of Memorisation Profiles
- 论文地址：https://arxiv.org/abs/2406.04327
- 研究机构：剑桥大学、苏黎世联邦理工学院
- 研究内容：研究人员提出了一种新的、有原则且高效的记忆估计方法，只需要观察模型在整个训练过程中的一小部分实例行为，就可以描绘出模型的记忆特征——即其在训练过程中的记忆趋势。
Aya Model: An Instruction Finetuned Open-Access Multilingual Language Mode
- 论文地址：
https://arxiv.org/abs/2402.07827
- 研究机构：Cohere For AI、布朗大学、Cohere、Cohere For AI Community、麻省理工学院、卡内基梅隆大学
- 研究内容：研究人员推出了一个大规模多语言生成语言模型Aya，遵循 101 种语言的指令，覆盖语言种类增加了两倍。此外，研究人员还引入了广泛的新评估套件，扩展了 99 种语言的多语言评估技术。
Natural Language Satisfiability: Exploring the Problem Distribution and Evaluating Transformer-based Language Models
- 论文暂无预印版
Semisupervised Neural Proto-Language Reconstructior
- 论文地址：https://arxiv.org/abs/2406.05930
- 研究机构：卡内基梅隆大学、南加州大学
- 研究内容：研究人员提出了一个半监督的历史重建任务，模型只在少量标记数据和大量未标记数据上进行训练。还研发了一个比较重建的神经架构 DPDBiReconstructor，结合语言学家比较方法的基本见解，能够利用未标记的同源词集，在新任务上的性能优于强半监督基线。
Mission: lmpossible Language Models
- 论文地址：https://arxiv.org/abs/2401.06416
- 研究机构：斯坦福大学、加州大学、德克萨斯大学
- 研究内容：研究人员合成了一系列复杂的、不存在的语言，并评估 GPT-2 模型对这些语言的学习能力，结果发现，相比于学习英语，GPT-2 在学习不可能语言方面存在困难。
Why are Sensitive Functions Hard for Transformers
- 论文地址：
https://arxiv.org/abs/2402.09963
- 研究机构：德国萨尔大学
- 研究内容：在 Transformer 架构下，损失景观 (loss landscape) 受到输入空间敏感性的限制，通过理论和实证，该理论可以统一关于 Transformer 学习能力和偏见的广泛实证观察 (broad array of empirical observations)。
深度解读获奖论文
接下来，HyperAI超神经将分别从模型架构、数据集、研究成果及团队介绍 4 个方面， 为大家深度解读「Deciphering Oracle Bone Language with Diffusion Models」。
在该研究中，华中科技大学白翔、刘禹良研究团队联合阿德莱德大学、安阳师范学院、华南理工大学，利用基于图像的生成模型，训练出了一种针对甲骨文破译优化的条件扩散模型 Oracle Bone Script Decipher (OBSD)， 该模型利用甲骨文的不可见类别 (unseen categories) 作为条件输入，以生成对应的现代汉字图像，为自然语言处理难以解决的古文字识别任务提供了一种新颖的方法。
研究亮点：
- 通过使用图像生成技术，为古文字识别任务提供了一种新颖的方法
- OBSD 用局部分析采样技术增强了模型对字符复杂模式进行区分和解释的能力
- 通过全面的消融研究和基准测试，证明 OSBD 在解码方面的有效性
该研究所使用的数据集下载链接：
EVOBC 甲骨文文字演化数据集：
HUST-OBS 甲骨文识别数据集：
数据集：采用甲骨文最大存储库，以 OCR 技术作为衡量标准
为了训练和评估所提出的 OSBD 模型，该研究选择了 HUST-OBS 数据集和 EVOBC 数据集， 它们是甲骨文的最大存储库之一，包含 7,1698 张图片描绘的 1,590 个不同的字符。
考虑到破译未知的甲骨文通常需要更为全面的专业验证，该研究仅将已被破译的文字作为测试集，从而简化了整个评估过程。更重要的是，该研究还对测试集中选择过的字符类别专门在训练集中进行了排除，确保该模型被用来破解的是从未处理过的字符。该数据集按 9:1 的比例划分为训练集和测试集，为评估提供了可靠的框架。
另外，虽然 OSBD 模型是从图像生成的角度进行甲骨文破译，但传统的 SSIM 等图像生成度量指标并不适合这项任务。因此，该研究采用 OCR 技术作为对破译成功结果判定的更客观的衡量标准。具体来看，研究人员通过使用 ResNet-101 骨干网络的简单分类器定制 OBS-OCR 工具，专门针对包含 88,899 个现代汉字类别的大型数据集进行训练，以评估模型的输出。
结果表明， 定制 OCR 工具实现了 99.87% 的识别准确率， 证明了破译结果的可靠性。同时，该研究还广泛引入了开源中文 OCR 工具 PaddleOCR 1，从而进行进一步的评估。这种双 OCR 方法为模型破译甲骨文的有效性提供了强大保障。
以条件扩散模型为基准，重构 OBSD 模型
这项研究将训练集表示为 S = {(si, ci) | si 是一个甲骨文实例，ci∈C}，即将甲骨文实例与一组已知类别 C 中的现代汉字对应起来，并在现有匹配缺失的地方提出新的字符形式。为了实现这一点，该研究基于扩散模型将甲骨文字符图像 X 转换为其现代汉字等价物。
如下图所示，该模型分为两个阶段：
甲骨文译码的条件扩散模型
在前期阶段中 (Noising)， 研究人员通过向现代汉字图像 X0 引入噪声，利用可控的马尔可夫链过程，将其过渡到类似于纯噪声的状态，最终形成高斯分布 N (0, I)。
在去噪 (Denoising) 阶段中， 研究人员使用 U-Net 架构训练模型 fθ 预测噪声 e 和恢复图像，并且利用 et ∼ N(0, I) 引入随机性，以增强模型生成结果的多样性，最终解码的结果是生成去噪图像 X0。
在此基础上，OBSD 模型集成了初步破译阶段（Initial Decipherment）和零样本学习阶段（Zero-shot Refinement），以提高解密精度，如下图所示。
OBSD 概述
首先，通过对甲骨文图像 X 进行条件扩散以逼近初始图像 X0，然后通过零样本学习方法对其进行改进，并且利用 Xref 作为参考来纠正和增强结构。受益于改进过程中对文字结构的洞察，最终生成了对标现代汉字的文字结果 XF。
引入 LSS 概念，增强模型在古代文字与现代汉字之间的连接能力
然而，在实际的应用案例中，这样训练的模型并不能准确生成所对应的现代汉字，而是基于大量随机片段构成了一些胡言乱语，如下图所示。
直接应用条件扩散模型导致破译失败
研究人员推测造成这个结果的原因是：扩散模型主要是为了生成自然图像而设计，但在甲骨文破译过程中，甲骨文图像与现代汉字之间的结构存在极大差异，这使得标准条件扩散模型无法准确重建目标现代汉字。
汉字「宗」的对比分析
为了解决这一挑战，该研究引入了局部结构采样 (LSS) 概念， 帮助扩散模型学习如何将甲骨文的局部部首结构映射到相应的现代汉字之中，从而增强模型在古代文字与现代汉字之间的连接能力。研究还发现，尽管从古代汉字到现代汉字存在相当大的结构演变，但某些局部结构得到了保留。
为了使扩散模型能够学习局部结构的特征，LSS 模块采用滑动窗口方法将目标现代汉字图像 X0∈RHxWx3 和对应的甲骨文图像 X∈RHxWx3 分割成大小为 p×p 的 D 个小块，表示为 X(d) 和 Xt(D)∈Rp×p×3, D=1,2…D, p=64。在这里，Xt 表示在时间步长 t 上添加高斯噪声 ϵt 的现代文本图像。
OBSD 初始破译的总体流程
基于此方法，模型可通过学习甲骨文的局部结构和汉字结构的细小差别来迭代和优化补丁。 该研究方法的独特之处在于，它在没有完成去噪的情况下，就在每个时间步长 t 上对相邻区域之间的重叠进行平均，以确保共享区域的均匀效果。同时，该研究通过在平滑采样过程中的区域性过渡，避免了边缘差异，保持了重建图像的视觉一致性。
引入零样本学习方法，增强模型对字符结构的理解能力
尽管使用局部结构采样生成现代汉字取得了一定进步，但最初的破译工作仍然会遇到结构变形和伪影等明显的障碍。
破译初期出现大量伪影和变形
这是由于使用的是多对一训练方法，即将多个甲骨文实例与一个现代汉字图像进行映射，导致在捕捉字符演化时出现混淆和不准确， 并且由于现代汉字样本有限，导致出现了不完整的结构。
多对一和一对一训练范例的比较
为了克服这些挑战，该研究提出了一种零样本学习策略，通过使用不同的现代汉字书写风格来提高模型对结构的理解。 在实际操作中，该研究在 20 种不同的现代汉字字体上，以一对一的方式训练了该模块，从而学习了不同现代汉字书写风格之间的结构变换，增强了模型对字符结构的理解能力。
如下图所示，该零样本学习方法基于一个通用字体风格转换框架，通过双编码器系统，使源字体图像 X0 的样式适应目标样式 Xref，同时保留内容完整性。风格编码器 Es 从 Xref 提取样式特征 es，而内容编码器 Ec 处理 Xo 和 Xref 以获得多尺度内容特征 Fo，并通过具有多尺度内容聚合 (MCA) 和参考结构的 Font U-Net 进行精炼。训练完成后，即可直接使用零样本学习模块对扩散模型生成的结果进行优化。
零样本学习策略概述
OSBD 表现评估：在多重评估标准下的识别准确率均为最高
为了定量评估 OSBD 的表现，该研究使用了单轮解密和多轮解密两种不同的评估标准。由于没有专门用于甲骨文破译的工具，该研究采用了一个比较框架，使领先的图像到图像的翻译方法适应于这项任务。
具体来看，这些方法包括 Pix2Pix, CycleGAN, DRIT ++ 等基于 GAN 的方法，以及 CDE, Palette, BBDM 等扩散模型。这种设定保证了 OBSD 方法能够在最新的图像转换背景下进行评估，并且确保了公平的一致性训练和测试条件。
在单轮解密评估中，OBSD 在破解甲骨文方面相较于修改后的图像到图像的转换方法具有显著优势， 如下图所示。
OSBD 通过 OBS-OCR 和 PaddleOCR 实现的 top-1 准确率分别为 41.0% 和 30.0%，表现相较于其他方法更优。随着排名的提高，准确度有明显的改善趋势，在 top-500 准确率下，OSBD 达到了 64.5% 的 OBS-OCR 识别准确率。
单轮解密成功率比较
值得注意的是，所有基于 GAN 的方法（如 Pix2Pix、Palette、DRIT++ 和 CycleGAN）在这种情况下表现出的有效性最差，top-1 准确率为 0%。这可能是由于 GAN 本身难以捕捉用于破译甲骨文所需的复杂且微妙的映射关系。
在多轮解密评估中，OBS-OCR 在多次尝试中的成功率逐渐提高， 指标从 41.0% 的成功率不断提升到 80.0%，如下图所示。
多轮解密成功率比较
PaddleOCR 指标的增长趋势也呈上升趋势，从 30.0% 开始最终达到了 58.5%。这些结果都验证了通过连续尝试可以实现增量改进。
为了进一步考察各个组件的影响，该研究还进行了消融研究，重点关注了 LSS 模块和零样本学习。结果表明，仅使用基本条件扩散模型对甲骨文进行解码存在局限性，具有显著较低的准确率。具体来说，在没有任何增强的情况下训练扩散模型会导致输出基本上毫无意义。
OBSD 的消融研究
通过引入 LSS 模块，OBS-OCR 的识别准确率提高到了 37.5%， PaddleOCR 提高到了 24%。通过将零样本学习模块与 LSS 配合使用，可进一步提高 OBS-OCR 和 PaddleOCR 的 Top-1 准确性，分别额外增加了 3.5% 和 6%。
最后，该研究还对各种图像到图像的转换模型进行了定性研究。
OBSD 与其他图像到图像翻译框架的比较
结果表明，通过 OBSD 方法输入甲骨文能够产生最准确的现代汉字破译，并且能够辨别甲骨文的复杂细节，这些结果不仅突出了 OSBD 的有效性，还突显了它作为甲骨文语言破译专家工具的潜力。
研究团队熠熠生辉，拓荒 AI+甲骨文
在古文字研究领域，尤其是甲骨文研究方面，华中科技大学一直以来都立于时代的最前沿，是国内最早建设自主甲骨文字库的和高校之一。随着人工智能技术的快速发展，文字和图像智能处理成为人工智能科研领域的热点之一，以白翔、刘禹良研究团队为代表的华中科技大学再次当仁不让的成为文字图像智能的拓荒者与引领者。
白翔教授作为国家杰青、IAPR Fellow，现任华中科技大学软件学院院长、机器视觉与智能系统湖北省工程研究中心主任等职务。此前，白翔教授主导开发的 Monkey 多模态大模型就曾获大模型权威榜单 OpenCompass 开源版榜首， 成果已被应用于武汉龙头软件企业的创新产品。
作为白翔团队核心骨干，刘禹良入选了第九届中国科协青年人才托举工程项目，聚焦文字图像智能，在文档智能分析、视觉与自然语言理解、多模态大模型等方面取得了一系列工作成果。
伴随着技术的发展逐渐成熟，为了在甲骨文研究方面取得更大突破，白翔与刘禹良教授与毅然选择了与国内甲骨文研究顶尖机构之一的安阳师范学院进行深入合作。2018 年，安阳师范学院甲骨文信息处理教育部重点实验室获批立项建设；2019 年，由实验室精心打造的集甲骨文文献库、著录库、字库三库合一的甲骨文大数据平台「殷契文渊」向全世界开放，这是世界上现有资料最齐全、最规范、最权威的甲骨文数据平台， 它的开放标志着甲骨学研究进入智能化时代。
值得注意的是，本文的通讯作者之一的刘勇革正是安阳师范学院甲骨文信息处理教育部重点实验室主任。
为了更好的记录和传播甲骨文研究工作，该实验室于 2023 年重点做了两件大事：一方面，联合腾讯 SSV、中国社会科学院考古研究所安阳工作站、安阳市文物局，共同启动了「甲骨文全球数字化回归计划」，利用上亿像素的相机，实现了甲骨实物在数字空间的高保真还原和保护。另一方面，该实验室和腾讯公司联合推出的「了不起的甲骨文」小程序，让甲骨文进一步走近大众。
无独有偶，为了方便学者更加便捷找到甲骨缀合的信息，缩短研究前期资料收集阶段的时间，复旦大学出土文献与古文字研究中心的博士生杨熠、黄博、程名卉于 2023 年初共同联手打造了「缀玉联珠」甲骨缀合信息库， 汇集了《甲骨文合集》出版以来，众多学者的甲骨缀合成果，共 6,700 多组，不仅成为了学界检索甲骨缀合主要成果的线上工具，也让不少「象牙塔」外的甲骨文爱好者有机会共同参与甲骨碎片的破案工作中，提供勘误和新的甲骨缀合信息。
由此可见，在大数据、云计算、人工智能等数字技术的助力下，甲骨文研究已经进入了一个全新时代。随着研究的不断深入，相信这项「冷门绝学」也终将在不远的将来被破解出更多密码，并且为破解其他古文字起到十分重要的借鉴意义。
