AGI

商业文档信息提取的革命：工具使用与检索增强生成

by

在当今数字化的商业环境中，如何高效地从海量的非结构化信息中提取有用的数据，已经成为了企业面临的重要挑战。商业文档信息提取（BDIE）应运而生，旨在将如原始文本、扫描文件等非结构化信息转化为结构化格式，以便下游系统解析和使用。本文将深入探讨一种创新的框架——检索增强结构生成（RASG），以及它如何在BDIE领域取得突破性成果。 什么是商业文档信息提取？ 商业文档信息提取（BDIE）主要包括两个关键任务： 这些任务的核心目标是将复杂的、混杂的信息以一种可以被机器理解和处理的方式结构化。 检索增强结构生成（RASG）框架 RASG 的核心组件 新的评价指标 为了更好地评估行项识别任务，作者提出了一种新的指标：通用行项识别指标（GLIRM）。相比现有的指标（如ANLS*、DocILE和GriTS），GLIRM更贴近实际的BDIE应用场景。 算法创新 RASG 还提供了一种启发式算法，用于在无需视觉编码器的情况下反向计算预测的行项和表格的边界框。 实验与验证 数据集与模型 消融研究 通过消融研究，评估了RASG组件（检索增强生成、监督微调、结构提示）对模型性能的影响。 检索机制 使用小波哈希的曼哈顿距离测量页面相似性，以优化检索机制。 现实应用中的优势 在实际应用中，结合RASG的LLM往往比传统的多模态模型（LMM）表现更为出色。无论是在提取准确性还是处理速度上，RASG框架都展示了其优越性。 例如，使用RASG框架的GPT-3.5能够在处理复杂的发票信息提取任务时，迅速准确地识别出关键的发票号、金额和日期等信息，而无需借助额外的视觉处理工具。这种高效的处理能力不仅节省了人力成本，还大大提高了数据处理的准确性和可靠性。 结论与展望 检索增强结构生成（RASG）框架为商业文档信息提取带来了革命性的变化。通过结合先进的检索机制、结构生成和监督微调技术，RASG不仅在多个基准测试中取得了领先的成绩，还展示了其在实际应用中的巨大潜力。随着技术的不断进步，BDIE领域必将迎来更多创新和突破，为企业的信息处理和决策提供更强大的支持。 通过对这些前沿技术的研究和应用，我们有理由相信，未来的商业文档信息提取将变得更加智能和高效

分析大型语言模型中的幻觉问题

by

引言 大型语言模型（Large Language Models，LLMs）在自然语言处理领域扮演着重要的角色，它们可以生成人类语言的连续文本，为我们提供了强大的语言处理能力。然而，随着模型规模的增大和训练数据的增加，LLMs也面临着一个严重的问题，即幻觉（Hallucination）问题。幻觉指的是模型生成看似合理但实际上不准确的信息，这可能导致误导性的结果和信息的传播。 为了更好地理解和解决LLMs中的幻觉问题，研究者们进行了大量的研究工作。其中一篇关于幻觉问题的研究论文是《Analytical Annotation of Hallucinations in Large Language Models (ANAH)》。这篇论文提出了一种分析性注释的方法，以便更详细地研究和量化LLMs中的幻觉问题。 ANAH数据集：详细注释LLMs中的幻觉 为了深入研究LLMs中的幻觉问题，研究者们创建了一个名为ANAH的双语数据集。ANAH数据集提供了对LLMs在生成式问答（Generative Question Answering）任务中幻觉问题的分析性注释。数据集中的每个答案句子都经过了严格的注释，包括参考片段的检索、幻觉类型的判断以及对幻觉内容的更正。 ANAH数据集由人工和自动化注释流程构建而成。通过这个数据集，研究者们能够量化和分析LLMs中幻觉的累积效应，并训练和评估幻觉注释器的性能。实验结果表明，经过训练的生成性幻觉注释器在性能上能够与最先进的模型相媲美，并展现出更好的泛化能力。 幻觉问题的研究进展 幻觉问题在自然语言处理领域一直备受关注。研究者们提出了多种方法来解决幻觉问题，包括幻觉检测和评估、幻觉缓解、基准测试、知识增强等。这些方法的目标都是提高模型的可靠性和准确性，减少幻觉的产生。 例如，为了评估幻觉问题，研究者们构建了各种基准测试集，设计了挑战性的问题，并通过评估答案中幻觉的水平来衡量模型的性能。此外，还有一些研究探索了如何在模型的训练和推理阶段减轻幻觉问题，例如通过多任务学习、模型编辑和强化学习等方法。 未来的研究方向 尽管已经取得了一些进展，但解决LLMs中的幻觉问题仍然是一个具有挑战性的任务。未来的研究可以在以下几个方向上进行探索： 这些研究方向将有助于进一步提高LLMs的可靠性、准确性和用户满意度。 结论 本文总结了《Analytical Annotation of Hallucinations in Large Language Models (ANAH)》论文的主要内容。该论文通过创建详细的注释数据集和训练幻觉注释器，提供了一种系统的框架来研究和解决LLMs中的幻觉问题。幻觉注释器能够提高模型的可靠性并减少幻觉的产生。然而，幻觉问题仍然具有挑战性，需要进一步的研究来改进模型的性能和泛化能力。 参考文献：

深度学习的Java推理库：Deep Java Library（DJL）

by

简介 Deep Java Library（DJL）是一个开源的、高级的、与深度学习引擎无关的Java框架，专为Java开发人员设计。DJL旨在让Java开发人员轻松入门并简化深度学习的使用。它提供了与其他常规Java库类似的本地Java开发体验。无需成为机器学习/深度学习专家，您就可以利用现有的Java知识学习和使用机器学习和深度学习。您可以使用喜欢的集成开发环境（IDE）来构建、训练和部署模型。DJL使得将这些模型与您的Java应用程序集成变得容易。由于DJL与深度学习引擎无关，因此在创建项目时无需在引擎之间做出选择。您可以随时切换引擎。为了确保最佳性能，DJL还根据硬件配置提供自动的CPU/GPU选择。 主要特点 核心API 使用示例 以下是使用DJL进行模型推理的简单示例： 资源 参考资料 DJL为Java开发者提供了一个强大的工具，使得深度学习的实现变得更加容易和高效。无论是模型推理还是训练，DJL都提供了简洁的API和丰富的功能，帮助开发者快速上手并实现复杂的深度学习任务。

深度学习的Java推理库：Deep Java Library（DJL）

by

简介：Deep Java Library（DJL）是一个开源的、高级的、与深度学习引擎无关的Java框架，专为Java开发人员设计。DJL旨在让Java开发人员轻松入门并简化深度学习的使用。它提供了与其他常规Java库类似的本地Java开发体验。无需成为机器学习/深度学习专家，您就可以利用现有的Java知识学习和使用机器学习和深度学习。您可以使用喜欢的集成开发环境（IDE）来构建、训练和部署模型。DJL使得将这些模型与您的Java应用程序集成变得容易。由于DJL与深度学习引擎无关，因此在创建项目时无需在引擎之间做出选择。您可以随时切换引擎。为了确保最佳性能，DJL还根据硬件配置提供自动的CPU/GPU选择。 主要特点： 核心API： 使用示例：以下是使用DJL进行模型推理的简单示例： Learn more:

LLM 大语言模型的输出是一段文本，如何计算误差？

by

在计算大语言模型（LLM）输出的误差时，具体的方法会因应用场景和任务的不同而有所差异。以下是几种常见的方法： 1. BLEU (Bilingual Evaluation Understudy) Score 用于评估机器翻译等生成任务的输出质量。它通过比较生成的文本与一个或多个参考文本来计算相似度。 2. ROUGE (Recall-Oriented Understudy for Gisting Evaluation) Score 主要用于摘要生成任务，测量生成文本和参考文本之间的重叠度。 3. Perplexity 用于评估语言模型的预测能力。低困惑度通常意味着模型输出更符合预期。 4. Accuracy (准确率) 对于分类任务，例如情感分析，可以使用准确率来衡量模型输出的正确性。 5. Human Evaluation (人工评估) 由于很多生成任务的复杂性，人工评估仍然是最可靠的方法之一。 6. Edit Distance (编辑距离) 用于比较生成文本和目标文本之间的差异，计算需要多少次编辑操作（如插入、删除、替换）才能将生成文本变为目标文本。 小结 选择适当的误差计算方法取决于具体的任务和应用场景。对于生成文本的质量评估，BLEU 和 ROUGE 是常用的方法，而对于语言模型的评估，困惑度是一个常见的指标。人工评估则适用于需要更细致判断的场合。 在计算LLM（大语言模型）输出文本的误差时，可以采用以下方法： 需要注意的是，LLM大语言模型的输出文本的误差计算是一个复杂的问题，目前还没有一种完美的方法。不同的评估方法可能会有不同的优缺点，因此在实际应用中，可以根据具体情况选择合适的评估方法或结合多种方法进行综合评估。 了解更多：

突破大语言模型的拒绝:DSN攻击方法及集成评估流程

by

近年来,大型语言模型(Large Language Models, LLMs)在自然语言处理领域取得了巨大成功,并在多个领域得到广泛应用。然而,随之而来的安全性问题,特别是LLMs在面对精心设计的”越狱”(jailbreaking)攻击时表现出的脆弱性,引起了研究者和从业者的高度重视。 最近,一篇题为”Don’t Say No: Jailbreaking LLM by Suppressing Refusal”的论文提出了一种新的越狱攻击方法DSN(Don’t Say No),旨在促使LLMs生成肯定的响应,并创新性地增加了抑制拒绝的目标。同时,论文还提出了一个集成评估流程,以更准确地评估攻击的有害性。本文将深入探讨DSN攻击方法的原理、实验结果及其潜在影响。 越狱攻击:安全性的重要挑战 LLMs在识别和避免有害查询方面表现出色,但仍容易受到精心设计的越狱攻击的影响。这些攻击通过精心构造的提示诱导LLMs生成有毒内容,从而使其偏离预期的安全对齐。 现有的越狱攻击方法,如GCG(Generate Confirmed Guesses)攻击,尽管在某些情况下能够成功,但其攻击成功率有限。此外,评估攻击效果也存在挑战,因为很难直接准确地评估攻击的有害性。目前广泛使用的评估方法,如拒绝关键词匹配,存在大量误报和漏报的问题。 DSN攻击:抑制拒绝,提高攻击成功率 为了更好地研究越狱攻击,论文提出了DSN攻击方法。与传统攻击不同,DSN不仅旨在生成肯定的响应,还创新性地增加了抑制拒绝的目标。 具体而言,DSN在损失函数中加入了一个增强项,用于指导LLM的响应远离预定义的拒绝关键词或字符串。为了稳定两个相反目标(生成肯定响应和抑制拒绝)的优化过程,论文采用了Unlikelihood损失来抑制拒绝响应。 通过一系列实验,论文展示了DSN攻击方法在平均和最优结果上都显著优于基线方法GCG。此外,论文还通过调节DSN中的超参数α,研究了拒绝损失项对越狱结果的影响。 集成评估流程:更准确地评估攻击效果 为了克服现有评估方法的局限性,论文提出了一个包含三个模块的集成评估流程:自然语言推理(NLI)矛盾评估、两个第三方LLM评估器(GPT-4和HarmBench)。 通过人工注释300个生成的响应,论文展示了集成评估流程在准确性和可靠性方面优于传统的拒绝匹配方法。论文还比较了不同的聚合策略(如多数投票、单票批准和单票否决)在测试集上的性能。 此外,论文还在新的评估流程下展示了DSN攻击在不同超参数设置下的最大攻击成功率,并分析了DSN攻击在不同受害者模型、评估指标和数据集分割下的转移性。 贡献总结与未来展望 这项研究的主要贡献在于提出了一种新的攻击方法DSN和一个集成评估流程,并通过广泛的实验验证了其有效性。这为提高LLMs的安全性提供了新的视角和方法。 同时,论文也讨论了其方法的局限性,并提出了未来研究的方向,包括: 总之,这项研究为理解和提高LLMs的安全性提供了宝贵的见解,推动了AI系统的安全发展。随着研究的深入,我们有望开发出更加安全、可靠的大型语言模型,造福社会。

让AI更聪明：如何挑选合适的“老师”来训练AI？

by

Instruction Matters, a Simple yet Effective Task Selection Approach in Instruction Tuning for Specific Tasks https://papers.cool/arxiv/2404.16418 Authors: Changho Lee ; Janghoon Han ; Seonghyeon Ye ; Stanley Jungkyu Choi ; Honglak Lee ; Kyunghoon Bae Summary: Instruction tuning has shown its ability to not only enhance zero-shot generalization across various tasks but also its effectiveness in improving … Read more

非英语语言文档级关系抽取：挑战与探索

by

Building a Japanese Document-Level Relation Extraction Dataset Assisted by Cross-Lingual Transfer Authors: Youmi Ma ; An Wang ; Naoaki Okazaki Summary: Document-level Relation Extraction (DocRE) is the task of extracting all semantic relationships from a document. While studies have been conducted on English DocRE, limited attention has been given to DocRE in non-English languages. This work delves … Read more

语言的桥梁：AI 如何帮助不同语言之间无障碍交流

by

你有没有想过，有一天，语言不再是人与人之间交流的障碍？人工智能（AI）正在努力实现这个目标！今天，我们就来聊聊一项叫做“跨语言迁移”的技术，它可以让 AI 在不同语言之间自由穿梭，就像搭建了一座语言的桥梁。 跨语言迁移：打破语言壁垒 想象一下，你正在用中文阅读一篇有趣的文章，但你的朋友只会英文。这时，AI 就能派上用场了！它可以将这篇文章翻译成英文，让你的朋友也能理解文章的内容。这就是跨语言迁移的魔力。 词汇和语法：语言的基石 要实现跨语言迁移，AI 需要掌握两种语言的词汇和语法知识。词汇就像一块块砖头，语法则是搭建房子的规则。只有同时掌握这两者，AI 才能真正理解语言的含义，并进行准确的翻译。 LS-mBERT：语言的翻译官 在这项研究中，科学家们开发了一个名为“LS-mBERT”的 AI 模型。它就像一位专业的翻译官，能够在不同语言之间进行转换。LS-mBERT 的特别之处在于，它同时利用了词汇和语法知识，让翻译结果更加准确。 LS-mBERT 的工作原理 LS-mBERT 的工作原理可以分为以下几个步骤： 实验结果：令人惊喜的进步 科学家们用 LS-mBERT 进行了一系列实验，结果显示它在文本分类、命名实体识别和语义解析等任务上都表现出色，甚至超过了现有的其他 AI 模型。 未来展望：AI 翻译的无限可能 LS-mBERT 的成功只是 AI 翻译领域的一个开始。未来，AI 翻译将会更加准确、流畅，甚至可以理解不同语言中的文化差异，真正实现无障碍的跨语言交流。 结语 AI 正在改变我们的世界，它帮助我们打破语言的壁垒，让不同文化背景的人们能够更好地相互理解。相信在不久的将来，AI 翻译将会成为我们生活中不可或缺的一部分，让我们拭目以待！

解密Tele-FLM：高效的多语言大型语言模型

by

近年来，大型语言模型（LLM）在语言理解和生成方面展现出了惊人的能力，应用范围也越来越广泛。然而，如何高效地将LLM扩展到超过500亿个参数，同时最小化试错成本和计算资源消耗，一直是业界难题。今天，我们将介绍Tele-FLM（也称为FLM2），一个520亿参数的开源多语言大型语言模型，它为高效扩展LLM提供了一种新的思路。 Tele-FLM：解决LLM扩展难题 Tele-FLM旨在解决以下几个关键问题： Tele-FLM的技术亮点 Tele-FLM的成功得益于以下几个关键技术： Tele-FLM的性能表现 Tele-FLM在多个基准测试中展现了出色的性能，包括： Tele-FLM的未来展望 Tele-FLM的开发者计划继续改进模型，探索更大规模的模型训练，并开发更高效的训练技术。他们也致力于将Tele-FLM应用于更广泛的领域，例如聊天机器人、虚拟助手和教育工具等。 总结 Tele-FLM为高效扩展LLM提供了一种新的思路，其开源共享的特性也为学术界和工业界提供了宝贵的参考。相信随着技术的不断发展，Tele-FLM将在更多领域发挥重要作用，推动人工智能的进步。