AGI

在当今数字化的商业环境中，如何高效地从海量的非结构化信息中提取有用的数据，已经成为了企业面临的重要挑战。商业文档信息提取（BDIE）应运而生，旨在将如原始文本、扫描文件等非结构化信息转化为结构化格式，以便下游系统解析和使用。本文将深入探讨一种创新的框架——检索增强结构生成（RASG），以及它如何在BDIE领域取得突破性成果。 什么是商业文档信息提取？ 商业文档信息提取（BDIE）主要包括两个关键任务： 这些任务的核心目标是将复杂的、混杂的信息以一种可以被机器理解和处理的方式结构化。 检索增强结构生成（RASG）框架 RASG 的核心组件 新的评价指标 为了更好地评估行项识别任务，作者提出了一种新的指标：通用行项识别指标（GLIRM）。相比现有的指标（如ANLS*、DocILE和GriTS），GLIRM更贴近实际的BDIE应用场景。 算法创新 RASG 还提供了一种启发式算法，用于在无需视觉编码器的情况下反向计算预测的行项和表格的边界框。 实验与验证 数据集与模型 消融研究 通过消融研究，评估了RASG组件（检索增强生成、监督微调、结构提示）对模型性能的影响。 检索机制 使用小波哈希的曼哈顿距离测量页面相似性，以优化检索机制。 现实应用中的优势 在实际应用中，结合RASG的LLM往往比传统的多模态模型（LMM）表现更为出色。无论是在提取准确性还是处理速度上，RASG框架都展示了其优越性。 例如，使用RASG框架的GPT-3.5能够在处理复杂的发票信息提取任务时，迅速准确地识别出关键的发票号、金额和日期等信息，而无需借助额外的视觉处理工具。这种高效的处理能力不仅节省了人力成本，还大大提高了数据处理的准确性和可靠性。 结论与展望 检索增强结构生成（RASG）框架为商业文档信息提取带来了革命性的变化。通过结合先进的检索机制、结构生成和监督微调技术，RASG不仅在多个基准测试中取得了领先的成绩，还展示了其在实际应用中的巨大潜力。随着技术的不断进步，BDIE领域必将迎来更多创新和突破，为企业的信息处理和决策提供更强大的支持。 通过对这些前沿技术的研究和应用，我们有理由相信，未来的商业文档信息提取将变得更加智能和高效

近年来,大型语言模型(Large Language Models, LLMs)在自然语言处理领域取得了巨大成功,并在多个领域得到广泛应用。然而,随之而来的安全性问题,特别是LLMs在面对精心设计的”越狱”(jailbreaking)攻击时表现出的脆弱性,引起了研究者和从业者的高度重视。 最近,一篇题为”Don’t Say No: Jailbreaking LLM by Suppressing Refusal”的论文提出了一种新的越狱攻击方法DSN(Don’t Say No),旨在促使LLMs生成肯定的响应,并创新性地增加了抑制拒绝的目标。同时,论文还提出了一个集成评估流程,以更准确地评估攻击的有害性。本文将深入探讨DSN攻击方法的原理、实验结果及其潜在影响。 越狱攻击:安全性的重要挑战 LLMs在识别和避免有害查询方面表现出色,但仍容易受到精心设计的越狱攻击的影响。这些攻击通过精心构造的提示诱导LLMs生成有毒内容,从而使其偏离预期的安全对齐。 现有的越狱攻击方法,如GCG(Generate Confirmed Guesses)攻击,尽管在某些情况下能够成功,但其攻击成功率有限。此外,评估攻击效果也存在挑战,因为很难直接准确地评估攻击的有害性。目前广泛使用的评估方法,如拒绝关键词匹配,存在大量误报和漏报的问题。 DSN攻击:抑制拒绝,提高攻击成功率 为了更好地研究越狱攻击,论文提出了DSN攻击方法。与传统攻击不同,DSN不仅旨在生成肯定的响应,还创新性地增加了抑制拒绝的目标。 具体而言,DSN在损失函数中加入了一个增强项,用于指导LLM的响应远离预定义的拒绝关键词或字符串。为了稳定两个相反目标(生成肯定响应和抑制拒绝)的优化过程,论文采用了Unlikelihood损失来抑制拒绝响应。 通过一系列实验,论文展示了DSN攻击方法在平均和最优结果上都显著优于基线方法GCG。此外,论文还通过调节DSN中的超参数α,研究了拒绝损失项对越狱结果的影响。 集成评估流程:更准确地评估攻击效果 为了克服现有评估方法的局限性,论文提出了一个包含三个模块的集成评估流程:自然语言推理(NLI)矛盾评估、两个第三方LLM评估器(GPT-4和HarmBench)。 通过人工注释300个生成的响应,论文展示了集成评估流程在准确性和可靠性方面优于传统的拒绝匹配方法。论文还比较了不同的聚合策略(如多数投票、单票批准和单票否决)在测试集上的性能。 此外,论文还在新的评估流程下展示了DSN攻击在不同超参数设置下的最大攻击成功率,并分析了DSN攻击在不同受害者模型、评估指标和数据集分割下的转移性。 贡献总结与未来展望 这项研究的主要贡献在于提出了一种新的攻击方法DSN和一个集成评估流程,并通过广泛的实验验证了其有效性。这为提高LLMs的安全性提供了新的视角和方法。 同时,论文也讨论了其方法的局限性,并提出了未来研究的方向,包括: 总之,这项研究为理解和提高LLMs的安全性提供了宝贵的见解,推动了AI系统的安全发展。随着研究的深入,我们有望开发出更加安全、可靠的大型语言模型,造福社会。

Instruction Matters, a Simple yet Effective Task Selection Approach in Instruction Tuning for Specific Tasks https://papers.cool/arxiv/2404.16418 Authors: Changho Lee ; Janghoon Han ; Seonghyeon Ye ; Stanley Jungkyu Choi ; Honglak Lee ; Kyunghoon Bae Summary: Instruction tuning has shown its ability to not only enhance zero-shot generalization across various tasks but also its effectiveness in improving … Read more

Building a Japanese Document-Level Relation Extraction Dataset Assisted by Cross-Lingual Transfer Authors: Youmi Ma ; An Wang ; Naoaki Okazaki Summary: Document-level Relation Extraction (DocRE) is the task of extracting all semantic relationships from a document. While studies have been conducted on English DocRE, limited attention has been given to DocRE in non-English languages. This work delves … Read more

你有没有想过，有一天，语言不再是人与人之间交流的障碍？人工智能（AI）正在努力实现这个目标！今天，我们就来聊聊一项叫做“跨语言迁移”的技术，它可以让 AI 在不同语言之间自由穿梭，就像搭建了一座语言的桥梁。 跨语言迁移：打破语言壁垒 想象一下，你正在用中文阅读一篇有趣的文章，但你的朋友只会英文。这时，AI 就能派上用场了！它可以将这篇文章翻译成英文，让你的朋友也能理解文章的内容。这就是跨语言迁移的魔力。 词汇和语法：语言的基石 要实现跨语言迁移，AI 需要掌握两种语言的词汇和语法知识。词汇就像一块块砖头，语法则是搭建房子的规则。只有同时掌握这两者，AI 才能真正理解语言的含义，并进行准确的翻译。 LS-mBERT：语言的翻译官 在这项研究中，科学家们开发了一个名为“LS-mBERT”的 AI 模型。它就像一位专业的翻译官，能够在不同语言之间进行转换。LS-mBERT 的特别之处在于，它同时利用了词汇和语法知识，让翻译结果更加准确。 LS-mBERT 的工作原理 LS-mBERT 的工作原理可以分为以下几个步骤： 实验结果：令人惊喜的进步 科学家们用 LS-mBERT 进行了一系列实验，结果显示它在文本分类、命名实体识别和语义解析等任务上都表现出色，甚至超过了现有的其他 AI 模型。 未来展望：AI 翻译的无限可能 LS-mBERT 的成功只是 AI 翻译领域的一个开始。未来，AI 翻译将会更加准确、流畅，甚至可以理解不同语言中的文化差异，真正实现无障碍的跨语言交流。 结语 AI 正在改变我们的世界，它帮助我们打破语言的壁垒，让不同文化背景的人们能够更好地相互理解。相信在不久的将来，AI 翻译将会成为我们生活中不可或缺的一部分，让我们拭目以待！

近年来，大型语言模型（LLM）在语言理解和生成方面展现出了惊人的能力，应用范围也越来越广泛。然而，如何高效地将LLM扩展到超过500亿个参数，同时最小化试错成本和计算资源消耗，一直是业界难题。今天，我们将介绍Tele-FLM（也称为FLM2），一个520亿参数的开源多语言大型语言模型，它为高效扩展LLM提供了一种新的思路。 Tele-FLM：解决LLM扩展难题 Tele-FLM旨在解决以下几个关键问题： Tele-FLM的技术亮点 Tele-FLM的成功得益于以下几个关键技术： Tele-FLM的性能表现 Tele-FLM在多个基准测试中展现了出色的性能，包括： Tele-FLM的未来展望 Tele-FLM的开发者计划继续改进模型，探索更大规模的模型训练，并开发更高效的训练技术。他们也致力于将Tele-FLM应用于更广泛的领域，例如聊天机器人、虚拟助手和教育工具等。 总结 Tele-FLM为高效扩展LLM提供了一种新的思路，其开源共享的特性也为学术界和工业界提供了宝贵的参考。相信随着技术的不断发展，Tele-FLM将在更多领域发挥重要作用，推动人工智能的进步。

随着大型语言模型（Large Language Models, LLMs）在人工智能领域的快速发展，它们在复杂系统中扮演着越来越重要的角色。然而，在合作环境中确保LLMs的安全决策仍然是一个巨大的挑战。一篇名为”Governance of the Commons Simulation: Evaluating Large Language Models in Cooperative Decision-Making”的论文引入了一个名为”Governance of the Commons Simulation (GOVSIM)”的模拟平台，旨在研究LLMs在多智能体资源分享场景中的策略互动和合作决策能力。 GOVSIM: 多智能体资源管理模拟平台 GOVSIM是一个专门设计的模拟环境，用于评估基于LLM的智能体在管理共享资源方面的能力。在这个环境中，智能体需要在一个有限再生能力的共享资源池中进行策略推理、伦理决策和谈判。过度使用或提取超出可持续限制的资源会导致资源退化或完全枯竭。 模拟过程包括多个阶段，如策略制定、资源收集和集体讨论，智能体在这些阶段中互动并做出决策。研究者定义了多个评估指标，如生存月份数、总收益、平等性、效率和过度使用率，以衡量智能体的合作行为和社会结果。 智能体框架和实验设置 为了将不同的LLMs集成到GOVSIM中，研究者使用生成式代理框架（Generative Agent framework）创建了一个标准代理。他们测试了15种不同的LLMs，包括开放权重和封闭权重模型，并分析了它们在模拟中的表现。 除了默认设置的实验，研究者还进行了扰动测试，通过引入具有更激进动态的新智能体来评估社区的适应性和合作行为。他们还引入了”普遍化假设”来提高LLM智能体对长期社区结果的认识，从而改善可持续性结果。 关键研究结果和未来方向 研究发现，在测试的15种LLMs中，只有两种模型能够实现可持续的结果，这凸显了模型在管理共享资源方面的能力差距。此外，通过移除智能体的沟通能力，研究者发现它们倾向于过度使用共享资源，强调了沟通在促进合作中的重要性。有趣的是，大多数LLMs缺乏进行普遍化假设的能力，这突出了它们在推理技能方面的一个显著弱点。 论文提出了多个未来研究方向，包括扩展模拟的复杂性、提高LLMs的谈判能力、引入对抗性智能体等。这些方向旨在深入理解LLMs在复杂社会互动中的潜力和局限性，并为开发更安全、更有效的AI系统提供见解。 开源工具包和伦理考虑 为了促进未来的研究，论文开源了全套研究结果，包括模拟环境、代理提示和Web界面。这为研究者提供了一个宝贵的资源，用于探索LLMs在合作决策中的潜力和局限性。 同时，论文也强调了在模拟研究中考虑伦理问题的重要性。研究者应确保模拟结果辅助而非替代人类决策，并在开发和部署AI系统时考虑潜在的伦理影响。 小结 GOVSIM为研究LLMs在多智能体资源分享场景中的策略互动和合作决策能力提供了一个创新的模拟平台。通过一系列实验和分析，这项研究揭示了LLMs在管理共享资源方面的潜力和局限性，并为未来的研究和AI系统开发提供了宝贵的见解。随着研究的深入，GOVSIM有望成为探索AI在复杂社会互动中的角色的重要工具，推动更安全、更有效的AI技术的发展。

近年来,大型语言模型（Large Language Models, LLMs）在自然语言处理领域取得了显著成功。然而,这些模型在部署时面临着高计算和内存需求的挑战,导致了高昂的财务成本和能源消耗。为了解决这一问题,研究人员提出了各种加速技术,但它们往往会显著降低模型的准确性,并且可能需要专门的硬件或软件支持。 最近,一篇名为”LayerSkip: An End-to-end Solution for Accelerating Inference of Large Language Models”的论文提出了一种新颖的端到端解决方案,旨在加速LLMs的推理过程,同时保持甚至提高模型的准确性。本文将深入探讨LayerSkip方法的原理、实验结果及其潜在影响。 LayerSkip方法概述 LayerSkip方法包括三个主要阶段:训练时的层dropout和早期退出损失、推理时的早期退出、以及自我推测解码。 在训练阶段,LayerSkip对模型应用层dropout,即随机跳过一些层,并使用不同的dropout率,对较早的层使用较低的dropout率,而对较后的层使用较高的dropout率。此外,还引入了早期退出损失,使得所有transformer层共享同一个退出点,并通过训练使模型的语言模型头能够理解来自不同层的嵌入表示。 在推理阶段,LayerSkip采用早期退出策略,即仅运行模型的前几层,然后直接跳转到语言模型头,从而减少每次生成令牌所需的层数。这样可以显著减少计算量,提高推理速度。 为了进一步提高推理的准确性,LayerSkip提出了一种自我推测解码算法。该算法首先使用模型的前几层生成一系列草稿令牌,然后使用剩余的层来验证这些草稿令牌,并在必要时进行纠正。通过共享的计算和激活,这种方法可以减少内存占用并提高效率。 实验结果 论文在不同大小的Llama模型上进行了广泛的实验,涵盖了预训练、持续预训练、特定数据领域微调和特定任务微调等不同类型的训练。实验任务包括摘要生成、编程和语义解析等。 结果表明,LayerSkip方法在这些任务上都取得了显著的速度提升,最高可达2.16倍,同时保持了与原始模型相当甚至更好的准确性。这证明了LayerSkip作为一种通用的LLMs加速解决方案的有效性。 未来展望 尽管LayerSkip已经展现了巨大的潜力,但仍有一些方面值得进一步探索。例如,可以研究如何进一步提高早期退出层的准确性,探索动态退出层选择策略,以及将LayerSkip与其他参数高效技术结合以进一步提高效率。 此外,还需要在更多类型的任务和模型上验证LayerSkip的通用性,并研究如何减少对超参数调整的需求,使该方法更易于应用。从环境影响的角度来看,评估LayerSkip在减少LLMs能源消耗方面的潜力也是一个有意义的方向。 小结 LayerSkip为加速大型语言模型的推理提供了一种新颖而有效的解决方案。通过在训练时引入层dropout和早期退出损失,在推理时采用早期退出和自我推测解码,LayerSkip在保持准确性的同时显著提高了推理速度。这项研究为推动LLMs在资源受限设备上的应用迈出了重要一步,有望促进自然语言处理技术的普及和民主化。随着进一步的优化和扩展,LayerSkip有望在更广泛的场景中发挥其潜力,为人工智能的发展做出贡献。

在信息爆炸的时代，文本匹配技术在各种应用中发挥着重要作用，例如搜索引擎、问答系统和推荐系统等。轻量级文本匹配模型因其参数量小、推理速度快等优点而受到关注。然而，如何在轻量级模型中有效地捕获文本的语义信息一直是一个挑战。 这篇博客文章将介绍两种新的注意力机制模块：特征注意力 (FA) 和选择性特征注意力 (SFA)，它们可以帮助轻量级模型更好地理解文本的语义信息，从而提高文本匹配的准确率。 1. 问题定义 轻量级文本匹配模型通常使用孪生网络结构，该结构将两个文本编码成向量，然后比较这两个向量之间的相似度。然而，这种方法忽略了文本中嵌入特征之间的复杂关系。 FA 和 SFA 模块旨在解决这一问题，它们可以帮助模型更好地捕获嵌入特征之间的依赖关系，从而提高文本匹配的准确率。 2. FA 模块 FA 模块采用了一种叫做“挤压-激励”的技术，它可以动态调整对个体特征的强调，使网络更关注对分类有重要贡献的特征。 具体来说，FA 模块首先使用平均池化将特征图压缩成一个特征描述符，然后通过全连接层生成一个激活向量，该向量指示了对最终分类有显著贡献的特征。最后，通过元素级乘法将激活向量与原始特征相乘，以生成一个更加精细调整的嵌入特征表示。 3. SFA 模块 SFA 模块在 FA 的基础上，引入了选择性特征注意力机制。该机制使用堆叠的 BiGRU Inception 结构，以实现多尺度语义提取，并通过“选择”机制动态集中注意力。 具体来说，SFA 模块首先通过一个瓶颈结构降低特征维度，然后通过 N 层堆叠的 BiGRU 捕获每一层的语义表示，实现了特征的“分裂与融合”。 在“挤压-激励”阶段，SFA 模块使用全局平均池化和全局最大池化来压缩信息，并使用全连接层来激活特征。 “选择”阶段通过向量级 softmax 归一化来适应性地加权不同分支的特征，生成每个分支的加权和表示，从而实现对不同抽象层次上语义信息和嵌入特征的动态聚焦。 4. 实验评估 在多个文本匹配基准数据集上进行的实验表明，FA 和 SFA 模块可以有效地提高文本匹配的准确率。此外，SFA 模块的“选择”机制还可以有效管理不同尺度语义提取的梯度流动，从而提高训练稳定性和模型性能。 5. 未来工作 未来的研究方向包括将 FA 和 SFA 模块应用于其他 NLP … Read more

大型语言模型（Large Language Models, LLMs）在自然语言处理领域取得了巨大成功。然而,如何使LLM的输出与特定偏好相一致仍然是一个挑战。监督式微调（Supervised Fine-Tuning, SFT）是一种直接的方法,但其对齐的深度受到质疑。在跨语言生成任务中,非英语数据的稀缺性和获取成本进一步限制了SFT的应用。 最近,一篇名为”PRETTY: Prefix Text as a Yarn for Training-free Alignment of Foundation Language Models”的论文提出了一种创新的训练自由对齐方法,旨在解决这些问题。本文将深入探讨PRETTY方法的原理、实验验证及其潜在影响。 SFT的局限性 SFT通过在特定任务上微调预训练的LLM,使其输出与期望的偏好相一致。然而,一些研究质疑SFT实现的对齐可能只是表面的,没有真正深入到模型的知识体系中。 此外,论文指出SFT在跨语言生成任务中的有效性可能受到其对先前token的依赖的限制。这种依赖性可能阻碍了SFT在目标语言中激发特定任务生成的能力。 PRETTY方法 针对上述问题,论文提出了PRETTY（Prefix Text as a Yarn）方法。其核心思想是使用最少的任务相关先验token来桥接基础LLM和SFT LLM,从而在无需训练的情况下实现与SFT相当的性能。 PRETTY方法的关键在于构建高质量的先验token。论文提出了三种策略: 通过在输入中添加这些先验token,PRETTY方法能够引导基础LLM进行跨语言生成,实现对齐而无需额外的训练。 实验验证 论文在机器翻译、跨语言摘要和非英语词性标注（POS）任务上对PRETTY方法进行了全面的实验验证。实验涵盖了八种不同语言,展示了该方法在不同资源可用性水平下的有效性。 结果表明,通过仅添加一两个先验token,基础LLM就能达到与SFT模型相当的性能。这证明了PRETTY方法作为一种成本效益高的SFT替代方案的潜力。 意义与展望 PRETTY方法为推进多语言LLM的民主化提供了新的视角。它降低了对大量标注数据和计算资源的依赖,使得在资源有限的情况下也能实现高质量的跨语言对齐。 未来的研究方向包括将PRETTY扩展到更多的对齐场景,如通过人类反馈进行强化学习,以及进一步优化先验token的生成策略。此外,还需要探索如何减轻SFT过程中可能出现的灾难性遗忘问题。 小结 PRETTY方法通过引入最少的任务相关先验token,提供了一种简单而有效的LLM跨语言对齐方案。它突破了SFT的局限性,降低了对训练资源的依赖,为发展更加普惠的多语言LLM铺平了道路。随着研究的深入,PRETTY有望在更广泛的任务和语言中得到应用,推动自然语言处理技术造福全球用户。