博客

  • 解密商业文档信息提取:让电子文档处理工具为我们效力

    在现实生活中,我们常常需要将商业文档中的信息转化为结构化的格式,以便后续的系统能够解析和使用。这个过程被称为商业文档信息提取(Business Document Information Extraction,简称BDIE)。BDIE主要包括两个任务:关键信息提取(Key-Information Extraction,简称KIE)和行项目识别(Line Items Recognition,简称LIR)。本文将介绍一种全新的方法,即”检索增强结构化生成”(Retrieval Augmented Structured Generation,简称RASG),用于解决BDIE问题,并在相关基准测试中取得了最先进的成果。

    什么是商业文档信息提取?

    商业文档信息提取是将非结构化信息(如原始文本、扫描文档等)转化为结构化格式的过程,使其可以被后续的系统解析和使用。其中,关键信息提取的目标是将文档中的信息提取出来,并按照键值对的形式进行格式化。而行项目识别的目标是将信息提取为一系列行项目,其中每个行项目对应表格中的一行,并以列键值对的形式进行格式化。与表格结构识别不同的是,行项目识别不关注列的顺序,只要能够正确地将列映射到预定义的列键即可。

    检索增强结构化生成

    检索增强结构化生成(RASG)是一种由四个组件组成的方法:检索增强生成(Retrieval Augmented Generation)、监督微调(Supervised Finetuning)、结构化生成(Structured Generation)和结构化提示(Structured Prompting)。这些技术可以提高机器学习模型使用工具的能力,从而改善BDIE任务的性能。

    RASG的四个组件是相互关联的:

    1. 检索增强生成允许我们通过在上下文中进行学习,教导预训练模型使用新的工具。
    2. 监督微调提高了提取结果的正确性。
    3. 结构化生成确保模型输出的结果可以被后续的系统解析。
    4. 结构化提示将布局信息融入到提示中,使得文本提示的形式更接近原始文档。

    这四个组件在使用开源的7B大型语言模型(LLM)Hermes 2 Pro – Mistral 7B上可以取得最先进的BDIE结果。然而,在使用GPT-3.5模型时,只需要其中的一个子集即可。

    监督微调中的注意事项

    监督微调的目标是使语言模型既能输出正确的内容,又能输出正确的结构。为了确保模型输出的结果可以被后续系统解析,我们需要将无效标记的概率置零。然而,简单地将监督微调和结构化生成相结合往往会导致结果不佳。主要存在以下两个问题:

    1. 模式与模型不匹配:基于正则表达式的结构化生成算法(如Outlines’ outlines.generate.json模块)在生成过程中隐式地要求严格的键排序。例如,假设我们的模式中”amount”键在”currency”键之前。在使用Outlines时,会在生成”amount”之前屏蔽”currency”的输出。然而,如果模型被微调为在生成”amount”之前生成”currency”,预测准确性就会下降。为了解决这个问题,可以确保监督微调的数据集严格遵循指定的模式,或者使用基于上下文无关文法的结构化生成算法(例如Outlines’ outlines.generate.cfg模块),它不要求严格的键排序。
    2. 可选键带来的标记膨胀:我们经常遇到一个问题,即在预测值为空时仍然要求生成键。例如,当我们使用可选字段构建一个Pydantic对象并将其JSON模式传递给Outlines时,会生成许多不必要的标记,从而降低推理速度。另一个不好的做法是将所有键都设置为可选的。这是因为Outlines在这种情况下使用了不同的生成状态机算法。解决这个问题的方法是在模式中添加一个类型为null的必需的虚拟键,并在后处理中将其删除。

    边界框反向计算的启发式算法

    对于关键信息提取任务,我们发现一个简单的贪婪算法(算法1)就足以用于边界框的反向计算。如果要使用整个页面,可以将下边界和上边界分别设置为0和页面的高度(以像素为单位)。对于行项目识别任务,一个好的启发式算法是:(1)将页面在垂直方向上划分为多个块,每个块对应一个行项目;(2)使用上述算法1为每个行项目的分配的单词块中的单词反向计算边界框。挑战在于如何划分页面。

    算法1:边界框反向计算的启发式算法

    1. 设置下边界和上边界、预测的键值映射和OCR数据。
    2. 匹配得分、键到边界框的映射。
    3. 对于键值映射中的每对(键,值):
    • 找到边界框中的所有坐标处于下边界和上边界之间的且与值匹配的最长连续单词列表。
    • 记录匹配单词的边界框。
    • 将键到边界框的映射添加到键边界框映射中。
    1. 计算匹配分数,即所有匹配单词的相似度之和,用于评估预测结果的准确性。
    2. 返回匹配分数和键边界框映射。

    这种方法的时间复杂度为O(MN^2 * Algo1),其中M是行项目的数量,N是页面的高度。我们可以通过降低页面的规模来优化这个复杂度。在实际生产中,我们使用N=128。此外,我们利用算法1的单调性进行优化:匹配分数随着上边界的增加和下边界的减小而不增加。因此,我们可以使用分治优化来加速计算,将复杂度优化为O(MNlogN * Algo1)。最后,我们使用二分搜索来找到第一个行项目的最大下边界和最后一个行项目的最小上边界,以缩小边界范围。

    通用行项目识别度量

    行项目识别的目标是将信息提取为有序的行项目列表,其中每个行项目对应表格中的一行,并以列键值对的形式进行格式化。为了评估行项目识别的性能,我们需要一个具备以下属性的度量方法:

    1. 子任务隔离:需要分别评估子任务的性能。
    2. 单元格隔离:将一个真正的正样本对应一个预测的单元格和一个正确的真实单元格进行比较。
    3. 单元格完整性:虚构的单元格被视为假阳性,缺失的单元格被视为假阴性。
    4. 单元格相似度度量的灵活性:在同一个子任务中,度量方法应支持多种单元格相似度度量方式。
    5. 单元格行位置的不变性:对于正确预测的单元格,所给予的奖励应与其绝对行位置无关。
    6. 行顺序的保持:对于任意两个预测行,它们的相对顺序和与其匹配的真实行的相对顺序应保持一致。
    7. 列排列的不变性:度量方法应对列的重新排列具有不变性。即不考虑列的顺序。

    目前存在的行项目识别度量方法中,ANLS*和DocILE使用基于最大权重二分图匹配的算法进行行匹配,因此不满足属性#6。此外,DocILE支持单元格内容和单元格位置的识别,但无法隔离这两个方面,这使得它无法用于只进行单元格内容或单元格位置识别的任务。GriTS满足上述所有属性,但不满足属性#7。

    在接下来的部分,我们将介绍一种新的度量方法,称为通用行项目识别度量(General Line Items Recognition Metric,简称GLIRM),它满足上述所有属性。GLIRM可以看作是ANLS*和DocILE的扩展,使其满足属性#1和属性#6,同时也是GriTS的一种推广,使其满足属性#7。

    GLIRM中的相似度匹配分数

    根据属性#1和属性#4,我们将使用𝑓(𝑐ₚ, 𝑐ₜ)表示预测单元格𝑐ₚ和真实单元格𝑐ₜ之间的相似度度量。𝑓可以是适用于特定下游任务的任何相似度度量方式,如产品参考编号的精确匹配、边界框的交并比等。为了使度量方法类似于F1得分,我们需要将𝑓限制在0到1之间:0 ≤ 𝑓(𝑐ₚ, 𝑐ₜ) ≤ 1,对于所有𝑐ₚ, 𝑐ₜ。我们将使用𝑔𝑓(𝑟ₚ, 𝑟ₜ)表示预测行𝑟ₚ和真实行𝑟ₜ中对应单元格的相似度分数之和。

    行匹配

    我们将𝑅ₚ和𝑅ₜ分别表示预测的行序列和真实的行序列。我们的目标是找到等长的子序列𝑅~ₚ和𝑅~ₜ,使得对应单元格的相似度分数之和最大:
    𝑅~ₚ, 𝑅~ₜ = argmax 𝑅ₚ’ | 𝑅ₚ, 𝑅ₜ’ | 𝑅ₜ ∑ 𝑖 𝑔𝑓(𝑅~ₚ[𝑖], 𝑅~ₜ[𝑖]) (1)
    由于我们关注子序列而不是行的子集,因此更适合使用类似Levenshtein距离的算法来找到𝑅~ₚ和𝑅~ₜ,而不是像ANLS*和DocILE那样使用基于最大权重二分图匹配的算法。这样可以惩罚在预测中交换或重新排列的行。

    GLIRM的准确率(GLIRM-Prec)和召回率(GLIRM-Rec)可以定义如下:
    GLIRM-Prec(𝑅ₚ, 𝑅ₜ) = (1/|𝑅ₜ|) ∑ 𝑖 𝑔𝑓(𝑅~ₚ[𝑖], 𝑅~ₜ[𝑖]) (2)
    GLIRM-Rec(𝑅ₚ, 𝑅ₜ) = (1/|𝑅ₚ|) ∑ 𝑖 𝑔𝑓(𝑅~ₚ[𝑖], 𝑅~ₜ[𝑖]) (3)
    GLIRM-F1(𝑅ₚ, 𝑅ₜ)可以定义为:
    GLIRM-F1(𝑅ₚ, 𝑅ₜ) = (1+𝛽²) ∑ 𝑖 𝑔𝑓(𝑅~ₚ[𝑖], 𝑅~ₜ[𝑖]) / (𝛽²|𝑅ₚ| + |𝑅ₜ|) (4)
    在实际应用中,或者当人工审核系统的输出时,召回率通常比准确率更重要。这是因为查找并确定缺失单元格比验证提取单元格的正确性需要更多时间。因此,我们可以定义带有𝛽参数的GLIRM-F1指标:
    GLIRM-F1𝛽(𝑅ₚ, 𝑅ₜ) = (1+𝛽²) ∑ 𝑖 𝑔𝑓(𝑅~ₚ[𝑖], 𝑅~ₜ[𝑖]) / (𝛽²|𝑅ₚ| + |𝑅ₜ|) (5)
    其中𝛽是一个控制召回率重要性的超参数。当𝛽=1时,该指标与GLIRM-F1相同。

    实验结果

    我们使用DocILE数据集进行了实验。表格I比较了LLMs与RASG在KIE和LIR任务上的性能与强大的多模态基线(如LayoutLMv3和Roberta + DETR)。表格II显示了RASG各组件在不同基线模型上的贡献。

    在KIE任务上,只需要GPT-3.5 + 1-Shot Retrieval或Hermes 2 Pro + RASG即可超越基线。对于LIR任务,GPT-3.5 + 1-Shot Retrieval + Structured Prompting就足以击败基线模型。

    此外,我们还测量了边界框反向计算启发式算法的中位数表格级信息覆盖得分(Information Coverage Score,简称ICS)。最佳基线模型Roberta + finetuned DETR在ICS上达到92.93%,而GPT-3.5 + RASG和Hermes 2 Pro + RASG分别达到87.79%和85.02%。

    讨论与结论

    我们的模型性能和消融实验结果表明了几个结论。首先,在KIE任务中,与其进行提示工程相比,使用检索机制和/或在目标数据集上进行微调的效果更好。对于LIR任务,首先进行结构化提示,然后再进行微调是一个更好的策略。有趣的是,经过适当调整和增强的LLMs可以击败经过微调的多模态模型,如LayoutLMv3和Roberta + DETR。最后,我们提出的边界框反向计算启发式算法在表格检测任务上的性能仅略逊于最佳基线模型。

    对于在商业文档信息提取领域工作的团队,我们建议首先使用支持结构化生成的现成LLMs模型,然后实现检索机制。如果性能仍然不理想,可以考虑进行监督微调。对于LIR任务,我们建议先从结构化提示开始,然后再进行微调。

    综上所述,本文介绍了使用RASG框架解决BDIE问题的全面方法,并提供了关于LLMs在这一领域中性能和优化策略的见解。

    参考文献:

    • Franz Louis Cesista, Rui Aguiar, Jason Kim, Paolo Acilo. Retrieval Augmented Structured Generation: Business Document Information Extraction As Tool Use.
    • Skalický, Jakub, et al. “Business document information extraction.” arXiv preprint arXiv:2202.06070 (2022).
    • Smock, Matthew, et al. “GriTS: A Generalized Table Structure Recognition Metric.” arXiv preprint arXiv:2304.01428 (2023).
    • Willard, Willard. “Outlines: A toolkit for building structured generation models.” arXiv preprint arXiv:2303.01632 (2023).
    • Xiao, Tong, et al. “Information Coverage Score: Measuring Table Structure Extraction Quality.” arXiv preprint arXiv:2311.00007 (2023).
    • Simsa, Jiří, et al. “DocILE: A Large-scale Research Benchmark for Document Key Information Extraction and Line Item Recognition.” arXiv preprint arXiv:2312.00212 (2023).
    • Huang, Xingyi, et al. “LayoutLMv3: Multi-modal Pre-training for Visually Rich Document Understanding.” arXiv preprint arXiv:2203.06470 (2022).
    • Liu, Yinhan, et al. “Roberta: A robustly optimized BERT pretraining approach.” arXiv preprint arXiv:1907.11692 (2019).
    • Carion, Nicolas, et al. “End-to-end object detection with transformers.” arXiv preprint arXiv:2005.12872 (2020).
  • 商业文档信息提取的革命:工具使用与检索增强生成

    在当今数字化的商业环境中,如何高效地从海量的非结构化信息中提取有用的数据,已经成为了企业面临的重要挑战。商业文档信息提取(BDIE)应运而生,旨在将如原始文本、扫描文件等非结构化信息转化为结构化格式,以便下游系统解析和使用。本文将深入探讨一种创新的框架——检索增强结构生成(RASG),以及它如何在BDIE领域取得突破性成果。

    什么是商业文档信息提取?

    商业文档信息提取(BDIE)主要包括两个关键任务:

    • 关键信息提取(KIE): 从文档中提取重要信息。
    • 行项识别(LIR): 识别并提取文档中的行项和表格。

    这些任务的核心目标是将复杂的、混杂的信息以一种可以被机器理解和处理的方式结构化。

    检索增强结构生成(RASG)框架

    RASG 的核心组件

    1. 检索增强生成(RAG): 通过上下文学习,教会大型语言模型(LLM)如何使用新工具。
    2. 监督微调: 通过微调,进一步提高提取输出的准确性。
    3. 结构生成: 确保输出可以被下游程序解析。
    4. 结构提示: 在提示中注入布局信息,以增强模型对文档结构的理解。

    新的评价指标

    为了更好地评估行项识别任务,作者提出了一种新的指标:通用行项识别指标(GLIRM)。相比现有的指标(如ANLS*、DocILE和GriTS),GLIRM更贴近实际的BDIE应用场景。

    算法创新

    RASG 还提供了一种启发式算法,用于在无需视觉编码器的情况下反向计算预测的行项和表格的边界框。

    实验与验证

    数据集与模型

    • 数据集: 使用DocILE数据集进行基准测试。
    • 模型: 测试了GPT-3.5(商业化)和 Hermes 2 Pro – Mistral 7B(开源)。

    消融研究

    通过消融研究,评估了RASG组件(检索增强生成、监督微调、结构提示)对模型性能的影响。

    检索机制

    使用小波哈希的曼哈顿距离测量页面相似性,以优化检索机制。

    现实应用中的优势

    在实际应用中,结合RASG的LLM往往比传统的多模态模型(LMM)表现更为出色。无论是在提取准确性还是处理速度上,RASG框架都展示了其优越性。

    例如,使用RASG框架的GPT-3.5能够在处理复杂的发票信息提取任务时,迅速准确地识别出关键的发票号、金额和日期等信息,而无需借助额外的视觉处理工具。这种高效的处理能力不仅节省了人力成本,还大大提高了数据处理的准确性和可靠性。

    结论与展望

    检索增强结构生成(RASG)框架为商业文档信息提取带来了革命性的变化。通过结合先进的检索机制、结构生成和监督微调技术,RASG不仅在多个基准测试中取得了领先的成绩,还展示了其在实际应用中的巨大潜力。随着技术的不断进步,BDIE领域必将迎来更多创新和突破,为企业的信息处理和决策提供更强大的支持。

    通过对这些前沿技术的研究和应用,我们有理由相信,未来的商业文档信息提取将变得更加智能和高效

  • 新的位置编码CoPE

    新的位置编码方法 CoPE(Contextual Position Encoding)确实在提升大模型性能方面展示了显著的潜力。传统的 Transformer 模型使用绝对或相对位置编码,通常基于 token 的位置来进行编码,这在处理更高层次的抽象任务(例如计算第 i 个句子或特定单词)时存在局限性。而 CoPE 通过允许模型根据上下文来选择性地编码位置,解决了这一问题。

    CoPE 的优点

    1. 上下文依赖的位置编码:CoPE 通过计算每个 query-key 对的门控值(gate value)来决定哪些 token 应该被计入位置测量。这使得位置测量不再是简单的 token 计数,而是根据内容和上下文动态调整。
    2. 多层次位置抽象:CoPE 能够同时表示从 token 位置到句子位置等不同层次的抽象位置。这样,模型不仅能关注到前几个 token,还能关注到前几个句子,从而更好地理解当前句子的含义。
    3. 跨任务的优越性能:文章通过多个实验展示了 CoPE 在处理选择性复制、计数任务以及语言和编码任务中的优越性,特别是在处理分布外数据和需要高泛化能力的任务上表现出更强的性能。

    实验结果

    实验结果表明,CoPE 在以下几个方面优于传统的位置编码方法:

    • 选择性复制和计数任务:CoPE 能够解决标准位置编码方法无法解决的选择性复制和计数任务。
    • 语言建模和编码任务:在这些实际应用中,CoPE 降低了困惑度(perplexity),提高了模型性能。
    • 分布外数据的泛化能力:CoPE 在处理分布外数据时表现出更强的泛化能力,这是传统位置编码方法难以实现的。

    结论

    总的来说,CoPE 提供了一种更灵活、更强大的位置编码方法,适用于需要对输入数据结构和语义内容进行精细理解的任务。通过上下文依赖的位置编码,CoPE 能够显著提升大模型在多种任务上的性能,特别是在需要高泛化能力的场景中。

    论文链接:Encoding: Learning to Count What’s Important

  • 美国软件股大崩盘的启示:至少在现阶段,AI对软件是替代、而非增益!


    AI投资狂潮主要催生了芯片制造和云计算需求,而软件企业距离从中获利仍有一段距离。在人工智能热潮的强劲推动下,科技行业当前正上演着前所未有的剧烈洗牌。本周软件和企业科技公司的财报就暴露出这一转折期的阵痛——业绩普遍疲软,前景飘忽不定。

    软件公司距离从AI热潮获利仍有一段距离

    分析人士指出,目前AI投资狂潮主要催生了芯片制造和云计算需求,而软件企业距离从中获利仍有一段距离。

    彭博智库高级分析师 Anurag Rana 表示,除微软外,目前很少软件公司的收入有所提振,资金主要流向了英伟达等芯片巨头以及云计算平台。

    大多数公司都没有专门的AI预算,所以他们只能从非AI预算中挪用资金。他们仍在购买英伟达芯片和戴尔服务器,但不会签订大额软件合同。软件行业最终将从AI中获益,但要建立起来可能需要数年时间,今年下半年的业绩改善已经无望实现。

    曾经作为行业明星的 Salesforce 本周四绩后股价大跌近20%,创2004年上市以来最大单日跌幅。业绩不佳固然是导火索,但公司高管的表态更彰显出软件企业面临的窘境。

    Salesforce CEO 贝尼奥夫直言,过往疫情催生的“虚假繁荣”正在消退。当年为适应远程办公需求而大量采购的软硬件,如今亟需进行整合和理顺。

    他认为:

    每家企业软件公司都在疫后进行了调整,最近发布财报公司基本上都在以不同方式重复同样的话。

    除了 Salesforce,Okta、MongoDB、UiPath 等公司也在最新财报中下调了全年收入预期。Okta 直指宏观经济环境成为拖累,影响了新客户的获取及现有客户的购买扩展。

    而在 Veeva 的财报电话会议上,CEO 甚至将通用 AI 列为客户”优先权重新分配”的一大原因。类似的景象几乎笼罩了整个软件和企业科技行业。

    宏观环境低迷 企业主要资金流向硬件升级

    另一个潜在阻力则是宏观经济的持续低迷。在本周公布的最新 PCE 物价指数数据显示,通胀水平微高于预期,美联储也维持利率在23年高位不变。在这种环境下,企业对于签订长期软件订单的热情自然会大打折扣。

    UiPath 创始人 Daniel Dines 指出,UiPath 在3月下旬和4月份遭遇了严重业务放缓,部分原因就是当前经济状况乏力,客户对包年合同需求大幅降温,转而青睐短期订单。

    戴尔财报也显示,由于更多低利润的 AI 服务器订单涌入,全年毛利率料将下滑 150 个基点。这一点也从侧面说明了软件需求疲软、企业预算多转向硬件的局面。

    在 AI 火热的发展背后,科技行业正加速分化重组。芯片、云计算等直接相关领域获利最大,而软件企业则承受了较大冲击,不得不通过收缩支出、放缓扩张甚至裁员来应对。

    例如 SentinelOne CEO 就直言,企业的采购习惯和软件评估标准都在发生变化。这种动能切换对于整个软件行业来说都是个重大考验。一旦脱离 AI 趋势而错失良机,后果可能是被行业洗牌甩在后面。

    不过,也有分析人士认为,目前软件股的大幅回调恰恰为投资者提供了良机。伯恩斯坦分析师认为,像 ServiceNow 这样获利确定性较高的头部公司在估值修复后反而更具投资价值。

  • 文章标题:谁在写评论,是人还是AI?

    人工智能(AI)的广泛应用在自然语言处理领域引发了一个问题:如何准确区分AI生成的文本和人类编写的文本?一篇最新的研究提出了一种方法来解决这个问题,它通过使用迁移学习技术,让模型能够在不同主题下识别生成文本,同时提高对写作风格和词汇变化的检测能力。

    研究人员使用了一个包含真实书评和AI生成书评的数据集,通过开源的Vicuna语言模型生成了AI评论。经过实验验证,这种方法能够准确地区分AI生成的文本和人类编写的文本,实现了96.86%的准确率。这项研究的目标是探索大型语言模型在文本识别方面的能力和局限性,并为未来有效地识别和管理AI生成的内容提供有价值的经验。

    解决问题的方法:迁移学习和数据集准备

    为了解决区分AI生成文本和人类编写文本的问题,研究人员采用了以下方法:

    迁移学习

    迁移学习是一种将在一个任务上训练得到的模型应用于另一个相关任务的技术。在这项研究中,研究人员利用之前在科学摘要分类任务中训练得到的模型权重,通过迁移学习技术对模型进行微调,以适应书籍评论领域的文本分类任务。这种方法可以提高模型在不同主题下识别生成文本的能力。

    数据集准备

    研究人员使用了一个包含真实书评和AI生成书评的数据集。具体来说,他们从Kaggle上获取了一个公开的书籍评论数据集,并使用开源的Vicuna模型生成了对应的AI书籍评论。这个数据集包含了10,000条人类评论和10,000条AI生成评论,用于训练和评估模型。

    实验和结果分析

    在实验过程中,研究人员对模型进行了训练和评估,并分析了实验结果。

    数据预处理和文本表示

    在训练模型之前,研究人员对收集到的书籍评论进行了清洗和预处理。他们去除了特殊字符、空白、停用词,并将文本转换为小写格式,以提高数据质量。然后,他们使用Word2Vec技术中的”google-news-300″预训练模型将文本转换为300维的向量表示,以捕捉词义和上下文关系。

    模型架构和训练

    研究人员采用了长短期记忆网络(LSTM)来处理序列数据,并在LSTM后加入dropout层以减少过拟合。为了适应书籍评论领域的文本分类任务,他们使用迁移学习技术对模型进行微调。

    性能评估和结果分析

    通过使用准确率、精确率、召回率、F1分数和AUC等指标,研究人员评估了模型的性能。实验结果显示,使用迁移学习后,模型的平均准确率提高到了96.86%。

    此外,研究人员还对模型的分类结果进行了分析。他们可视化了模型正确分类和错误分类的文本,并对错误分类的文本进行进一步的分析。他们通过词云图展示了这些文本中的词汇使用情况,并使用t-SNE方法将模型隐藏状态的高维表示降维到2D空间,以可视化人类编写和AI生成文本的分离情况。

    进一步的研究方向

    尽管这项研究取得了显著的成果,但还有一些进一步的研究方向值得探索:

    • 跨领域应用:将所提出的方法应用于其他文本领域和类型,如推文(tweets),以测试模型在没有进一步训练的情况下是否能够检测AI生成的文本。
    • 使用更先进的语言模型:尝试使用更新的、更先进的开源语言模型来生成更大的数据集,这将有助于改进文本生成方法,并在不同领域、语言和文本类型中测试其有效性。
    • 深入理解AI内容的潜力和局限性:通过研究生成的文本,进一步了解AI产生内容的潜力和局限性。
    • 改进模型架构和文本表示方法:探索其他类型的循环神经网络(RNN)或变换器模型(如Transformer或BERT),以及其他文本表示技术,如BERT或ELMo,以进一步提高模型的性能。
    • 多模态数据集:考虑将文本数据与其他类型的数据(如图像或声音)结合起来,以研究AI在生成多模态内容方面的能力。
    • 伦理和社会影响:研究AI生成文本的伦理和社会影响,包括对隐私、版权和信息真实性的影响。
    • 对抗性训练:使用对抗性训练技术来提高模型对AI生成文本的鲁棒性,特别是在面对越来越复杂的文本生成策略时。
    • 实时检测系统:开发实时检测系统,以便在文本生成后立即识别AI生成的文本。
    • 用户研究:进行用户研究,了解人们如何感知AI生成的文本,并探索如何提高人类对AI文本的识别能力。

    结论

    这项研究提出了一种有效的方法来区分AI生成的文本和人类编写的文本。通过迁移学习和适当的文本表示技术,可以准确识别AI生成的文本,并在实验中实现了96.86%的准确率。然而,需要进一步的研究来探索AI在文本生成方面的潜力和局限性,并开发出更有效的工具来检测和管理AI生成的内容。

    参考文献:

  • 为什么大型语言模型需要适应不同用户群体的偏好?

    大型语言模型(LLMs)是一类强大的人工智能模型,可以处理和生成自然语言文本,如文章、对话和翻译。这些模型在许多任务上表现出色,但它们通常需要经过微调来适应特定的任务或用户需求。

    微调LLMs的常用方法是通过强化学习与人类反馈(RLHF)来调整模型的偏好。这意味着让人类标注者提供关于不同文本选项的偏好,然后通过优化模型的策略来使其更符合这些偏好。然而,这些偏好数据通常来自不同的标注者群体,他们可能具有不同的文化背景、语言特点、年龄、性别等特征。

    传统的RLHF方法存在一个问题,它们采用了所谓的“一刀切”策略,即假设所有群体的偏好是一致的,并且只优化一个单一的偏好模型。然而,不同群体的偏好可能存在差异,这可能导致模型在特定群体中的性能不佳。例如,一个模型在年轻人中可能表现出色,但在年长的用户中则可能表现不佳。

    为了解决这个问题,研究人员提出了一种名为Group Robust Preference Optimization(GRPO)的方法,旨在使LLMs能够更好地适应不同用户群体的偏好。GRPO方法考虑了不同群体的独特特征和需求,并通过优化策略以最大化最差情况下的群体性能来提高模型的鲁棒性。

    GRPO方法是如何工作的?

    GRPO方法通过以下关键步骤来优化LLMs以适应不同用户群体的偏好:

    1. 群体信息整合

    与传统方法不同,GRPO方法将来自不同群体的偏好数据整合到模型训练中。这意味着模型会考虑多个偏好分布,而不是仅仅假设一个单一的分布。

    2. 最坏情况性能优化

    GRPO方法的目标是优化策略,使得模型在最坏情况下的群体性能也能得到最大化。具体而言,它通过最大化不同群体损失的最小值来实现。这意味着模型将努力在最差表现的群体中保持较好的性能。

    3. 自适应权重调整

    GRPO方法根据不同群体的累积损失动态调整权重,以优先考虑那些累积损失较大的群体。这样做可以确保模型更关注性能较差的群体,并在后续的训练中给予它们更多的重视。

    4. 理论分析与算法设计

    为了保证GRPO方法的可行性,研究人员进行了理论分析,并设计了相应的算法来解决群体鲁棒偏好优化问题。他们提供了一些收敛性保证,以确保算法能有效地优化模型策略。

    5. 实验验证

    研究人员在合成数据集和真实世界数据上进行了实验验证GRPO方法的有效性。他们发现,通过使用GRPO方法微调LLMs,可以显著提高最差表现群体的性能,并减少不同群体之间的性能差距。实验结果显示,GRPO方法相比非鲁棒基线在损失和准确性方面取得了显著的改进。

    GRPO方法的应用前景和未来工作

    GRPO方法的提出为解决LLMs在不同用户群体间偏好对齐的问题提供了一种新的解决方案。通过考虑不同群体的特征和需求,GRPO方法能够使模型更加鲁棒和公平,提高用户体验。

    未来的研究可以进一步探索以下方向:

    • 提高算法效率,尤其是在处理大规模数据集和复杂模型时。
    • 更精细的超参数调整策略,以适应不同的应用场景和数据分布。
    • 探索其他类型的损失函数,以进一步提高模型的鲁棒性和性能。
    • 考虑更广泛的群体特征,如文化、语言和社会经济背景,以实现更全面的群体鲁棒性。
    • 在更广泛的实际应用中测试GRPO方法,如医疗、教育和商业领域,以验证其在现实世界中的有效性。
    • 进一步研究群体间和群体内的差异,以及如何平衡这些差异以实现最佳的模型性能。
    • 提高模型的解释性,以更好地理解不同群体偏好如何影响模型的决策。

    通过在这些方向上进行进一步的研究,可以提高GRPO方法的实用性、有效性和泛化能力,从而更好地服务于多样化的用户群体。

    参考文献:

    • Shyam Sundhar Ramesh, Yifan Hu, Iason Chaimalas, Viraj Mehta, Pier Giuseppe Sessa, Haitham Bou Ammar, Ilija Bogunovic. (2024). Group Robust Preference Optimization in Reward-free RLHF. [PDF13] [Copy] [Kimi33]
  • S3D:低内存GPU上的自推测解码方案

    引言

    大型语言模型(Large Language Models,LLMs)在自然语言处理领域起着重要作用,能够生成人类语言的连续文本,为我们提供强大的语言处理能力。然而,LLMs在推理过程中面临一个重要问题,即幻觉(Hallucination)问题。幻觉指的是模型生成看似合理但实际上不准确的信息,这可能导致误导性的结果和信息的传播。

    为了更好地理解和解决LLMs中的幻觉问题,研究者们进行了大量的研究工作。其中一篇关于幻觉问题的研究论文是《S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs》。这篇论文提出了一种名为Skippy Simultaneous Speculative Decoding(简称S3D)的自推测解码方案,旨在解决在低内存GPU上进行LLM推理时的性能和内存限制问题。

    S3D方案解决的问题

    S3D方案的目标是解决在低内存GPU上进行LLM推理时的性能和内存限制问题。传统的推测解码方法在高端设备上实现了显著的加速,但在低内存设备上却存在性能下降的问题。此外,量化带来的内存开销也限制了LLMs在低内存GPU上的应用。因此,S3D方案旨在提供一种成本效益高、适用于低内存GPU的自推测解码方法。

    相关研究

    在幻觉问题的研究领域,已经有许多相关研究取得了重要进展。其中,早期的推测解码方法、多标记预测、雅可比迭代方法、层跳过技术以及其他SD系统等都与S3D方案有一定的关联。

    S3D方案的关键内容

    S3D方案提出了Skippy Simultaneous Speculative Decoding(S3D)方法,通过同时多标记预测和中层跳过的方式实现自推测解码。S3D方法不需要额外的显存成本,同时具备高训练效率。与其他SD系统相比,S3D方法在性能-内存比率方面表现出色,且无需进行大规模的架构调整和训练数据的修改。

    实验验证

    论文中进行了一系列实验来验证S3D方案的性能。实验结果表明,S3D在性能-内存比率方面表现出色,相较于其他开源SD系统,具有更好的性能。此外,论文还进行了成本效益和速度的比较实验,验证了S3D方案的有效性和实用性。

    进一步的研究方向

    尽管S3D方案已经取得了一定的研究成果,但仍有一些潜在的研究方向值得进一步探索。这些方向包括适配器技术、更广泛的硬件评估、更深入的超参数优化、模型泛化能力、量化和稀疏性、并行化和分布式训练、实时应用、鲁棒性和错误分析、与其他优化技术的集成、用户研究和应用案例等。

    通过进一步的研究探索,可以更好地理解S3D方案的潜绪和局限性,并推动其在更广泛的领域中的应用。

    结论

    《S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs》论文提出了一种名为S3D的自推测解码方案,旨在解决低内存GPU上进行LLM推理时的性能和内存限制问题。S3D方案通过同时多标记预测和中层跳过的方式实现自推测解码,具备成本效益高、训练效率高的优点。实验结果表明S3D在性能和内存比率方面表现出色,并具有实际应用的潜力。进一步的研究可以在适配器技术、更广泛的硬件评估、模型泛化能力等方面开展,以推动S3D方案的发展和应用。

    参考文献:

    • Wei Zhong, Manasa Bharadwaj. “S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs.” 2024.

    S3D (Skippy Simultaneous Speculative Decoding) is a simple and cost-effective self-speculative decoding scheme designed for low-memory GPUs. It aims to achieve fast inference, low VRAM costs, and high training efficiency [1].

    Speculative decoding (SD) is a technique that accelerates low-latency model (LLM) inference without sacrificing quality. It works by drafting tokens at a faster speed and then verifying the guessed tokens at the end of an iteration using a full forward pass. However, existing SD methods often achieve optimal performance on high-end devices or with a substantial GPU memory overhead. When applied to smaller models or low-memory devices where quantization is necessary, these methods can experience significant slowdowns [1].

    To address these challenges, S3D introduces mid-layer skipping and simultaneous multi-token predictions. It offers no added VRAM costs and high training efficiency. By leveraging memory efficiency, S3D demonstrates optimal performance-memory ratios among recent open-source SD models. It can avoid significant quantization overheads under certain VRAM constraints and outperform previous SD methods under 8-bit quantization by up to 3.9x in speedups on A10G GPU [1].

    S3D also provides optimal hyper-parameters by formalizing the relationship between the number of skipped layers and speedup in self-speculative decoding. It can verify the optimal number of token predictors, leading to improved performance [1].

    In summary, S3D is a cost-effective self-speculative decoding scheme that achieves fast inference, low VRAM costs, and high training efficiency for low-memory GPUs. It overcomes the limitations of existing SD methods and demonstrates optimal performance-memory ratios [1].


    Learn more:

    1. S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs
    2. GitHub – hemingkx/SpeculativeDecodingPapers: 📰 Must-read papers and blogs on Speculative Decoding ⚡️
    3. [2309.08168] Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding

    S3D是一种简单且经济高效的自我推测解码方案,专为低内存GPU设计。该方法通过同时进行多令牌解码和中间层跳过来实现推测解码,既不增加显存开销,又具有高训练效率[1]

    S3D的主要特点和贡献包括:

    1. 有效的自我推测解码:S3D采用了中间层跳过和同时进行多令牌预测的简单且节省内存的自我推测解码方案。相比之前的方法,S3D在较小的模型上克服了速度上的限制[1]
    2. 最优超参数:S3D通过对自我推测解码中跳过层数和速度提升之间关系的形式化研究,确定了最优的令牌预测器数量[1]
    3. 最优速度-内存比:S3D在最近的开源自我推测解码模型中展现出最优的性能-内存比。通过利用内存效率,S3D可以避免在特定显存限制下进行量化时产生的显著开销,并在A10G GPU上在8位量化下比之前最快的SD方法(EAGLE)提升了3.9倍的速度[1]

    相关工作方面,早期的自我推测解码方法主要集中在特定领域任务上,如翻译和语法错误修正,这些任务很容易实现显著的加速。而S3D则针对通用领域任务,通过同时预测多个令牌和非批处理解码来节省内存并提高训练效率[2]


    Learn more:

    1. S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs
    2. [2405.20314] S3D: A Simple and Cost-Effective Self-Speculative Decoding Scheme for Low-Memory GPUs
    3. GitHub – hemingkx/SpeculativeDecodingPapers: 📰 Must-read papers and blogs on Speculative Decoding ⚡️
  • 分析大型语言模型中的幻觉问题

    引言

    大型语言模型(Large Language Models,LLMs)在自然语言处理领域扮演着重要的角色,它们可以生成人类语言的连续文本,为我们提供了强大的语言处理能力。然而,随着模型规模的增大和训练数据的增加,LLMs也面临着一个严重的问题,即幻觉(Hallucination)问题。幻觉指的是模型生成看似合理但实际上不准确的信息,这可能导致误导性的结果和信息的传播。

    为了更好地理解和解决LLMs中的幻觉问题,研究者们进行了大量的研究工作。其中一篇关于幻觉问题的研究论文是《Analytical Annotation of Hallucinations in Large Language Models (ANAH)》。这篇论文提出了一种分析性注释的方法,以便更详细地研究和量化LLMs中的幻觉问题。

    ANAH数据集:详细注释LLMs中的幻觉

    为了深入研究LLMs中的幻觉问题,研究者们创建了一个名为ANAH的双语数据集。ANAH数据集提供了对LLMs在生成式问答(Generative Question Answering)任务中幻觉问题的分析性注释。数据集中的每个答案句子都经过了严格的注释,包括参考片段的检索、幻觉类型的判断以及对幻觉内容的更正。

    ANAH数据集由人工和自动化注释流程构建而成。通过这个数据集,研究者们能够量化和分析LLMs中幻觉的累积效应,并训练和评估幻觉注释器的性能。实验结果表明,经过训练的生成性幻觉注释器在性能上能够与最先进的模型相媲美,并展现出更好的泛化能力。

    幻觉问题的研究进展

    幻觉问题在自然语言处理领域一直备受关注。研究者们提出了多种方法来解决幻觉问题,包括幻觉检测和评估、幻觉缓解、基准测试、知识增强等。这些方法的目标都是提高模型的可靠性和准确性,减少幻觉的产生。

    例如,为了评估幻觉问题,研究者们构建了各种基准测试集,设计了挑战性的问题,并通过评估答案中幻觉的水平来衡量模型的性能。此外,还有一些研究探索了如何在模型的训练和推理阶段减轻幻觉问题,例如通过多任务学习、模型编辑和强化学习等方法。

    未来的研究方向

    尽管已经取得了一些进展,但解决LLMs中的幻觉问题仍然是一个具有挑战性的任务。未来的研究可以在以下几个方向上进行探索:

    1. 数据集扩展:将ANAH数据集的规模扩大,覆盖更广泛的主题和任务,以更全面地理解和解决幻觉问题。
    2. 模型泛化能力:研究如何提高模型在未见主题和未见问题上的泛化能力,使其能够更好地应对各种情况。
    3. 训练策略优化:探索不同的训练策略,如半监督学习、元学习等,以提高模型在有限数据上的性能和泛化能力。
    4. 提高模型解释性:研究如何提高幻觉注释器的解释性,使其能够提供更详细的解释和证据,以支持其注释和纠正决策。
    5. 多模态和跨语言能力:考虑多模态数据(如图像、视频)和跨语言能力,以提高模型对不同类型输入的理解和生成能力。
    6. 模型鲁棒性:进一步提高模型对对抗性攻击和输入扰动的鲁棒性。
    7. 长期影响评估:评估幻觉注释器在长期应用中的效果,包括用户对模型输出的信任度和依赖性的变化。
    8. 知识更新和维护:研究如何定期更新和维护模型的知识库,以确保其提供的信息是最新和准确的。
    9. 用户定制化和个性化:探索如何根据用户的特定需求和偏好定制化和个性化模型的输出。

    这些研究方向将有助于进一步提高LLMs的可靠性、准确性和用户满意度。

    结论

    本文总结了《Analytical Annotation of Hallucinations in Large Language Models (ANAH)》论文的主要内容。该论文通过创建详细的注释数据集和训练幻觉注释器,提供了一种系统的框架来研究和解决LLMs中的幻觉问题。幻觉注释器能够提高模型的可靠性并减少幻觉的产生。然而,幻觉问题仍然具有挑战性,需要进一步的研究来改进模型的性能和泛化能力。

    参考文献:

    • Ziwei Ji, Yuzhe Gu, Wenwei Zhang, Chengqi Lyu, Dahua Lin, Kai Chen. “Analytical Annotation of Hallucinations in Large Language Models (ANAH).” 2024.
  • 分析大型语言模型中的幻觉问题

    引言

    大型语言模型(Large Language Models,LLMs)在自然语言处理领域扮演着重要的角色,它们可以生成人类语言的连续文本,为我们提供了强大的语言处理能力。然而,随着模型规模的增大和训练数据的增加,LLMs也面临着一个严重的问题,即幻觉(Hallucination)问题。幻觉指的是模型生成看似合理但实际上不准确的信息,这可能导致误导性的结果和信息的传播。

    为了更好地理解和解决LLMs中的幻觉问题,研究者们进行了大量的研究工作。其中一篇关于幻觉问题的研究论文是《Analytical Annotation of Hallucinations in Large Language Models (ANAH)》。这篇论文提出了一种分析性注释的方法,以便更详细地研究和量化LLMs中的幻觉问题。

    ANAH数据集:详细注释LLMs中的幻觉

    为了深入研究LLMs中的幻觉问题,研究者们创建了一个名为ANAH的双语数据集。ANAH数据集提供了对LLMs在生成式问答(Generative Question Answering)任务中幻觉问题的分析性注释。数据集中的每个答案句子都经过了严格的注释,包括参考片段的检索、幻觉类型的判断以及对幻觉内容的更正。

    ANAH数据集由人工和自动化注释流程构建而成。通过这个数据集,研究者们能够量化和分析LLMs中幻觉的累积效应,并训练和评估幻觉注释器的性能。实验结果表明,经过训练的生成性幻觉注释器在性能上能够与最先进的模型相媲美,并展现出更好的泛化能力。

    幻觉问题的研究进展

    幻觉问题在自然语言处理领域一直备受关注。研究者们提出了多种方法来解决幻觉问题,包括幻觉检测和评估、幻觉缓解、基准测试、知识增强等。这些方法的目标都是提高模型的可靠性和准确性,减少幻觉的产生。

    例如,为了评估幻觉问题,研究者们构建了各种基准测试集,设计了挑战性的问题,并通过评估答案中幻觉的水平来衡量模型的性能。此外,还有一些研究探索了如何在模型的训练和推理阶段减轻幻觉问题,例如通过多任务学习、模型编辑和强化学习等方法。

    未来的研究方向

    尽管已经取得了一些进展,但解决LLMs中的幻觉问题仍然是一个具有挑战性的任务。未来的研究可以在以下几个方向上进行探索:

    1. 数据集扩展:将ANAH数据集的规模扩大,覆盖更广泛的主题和任务,以更全面地理解和解决幻觉问题。
    2. 模型泛化能力:研究如何提高模型在未见主题和未见问题上的泛化能力,使其能够更好地应对各种情况。
    3. 训练策略优化:探索不同的训练策略,如半监督学习、元学习等,以提高模型在有限数据上的性能和泛化能力。
    4. 提高模型解释性:研究如何提高幻觉注释器的解释性,使其能够提供更详细的解释和证据,以支持其注释和纠正决策。
    5. 多模态和跨语言能力:考虑多模态数据(如图像、视频)和跨语言能力,以提高模型对不同类型输入的理解和生成能力。
    6. 模型鲁棒性:进一步提高模型对对抗性攻击和输入扰动的鲁棒性。
    7. 长期影响评估:评估幻觉注释器在长期应用中的效果,包括用户对模型输出的信任度和依赖性的变化。
    8. 知识更新和维护:研究如何定期更新和维护模型的知识库,以确保其提供的信息是最新和准确的。
    9. 用户定制化和个性化:探索如何根据用户的特定需求和偏好定制化和个性化模型的输出。

    这些研究方向将有助于进一步提高LLMs的可靠性、准确性和用户满意度。

    结论

    本文总结了《Analytical Annotation of Hallucinations in Large Language Models (ANAH)》论文的主要内容。该论文通过创建详细的注释数据集和训练幻觉注释器,提供了一种系统的框架来研究和解决LLMs中的幻觉问题。幻觉注释器能够提高模型的可靠性并减少幻觉的产生。然而,幻觉问题仍然具有挑战性,需要进一步的研究来改进模型的性能和泛化能力。

    参考文献:

    • Ziwei Ji, Yuzhe Gu, Wenwei Zhang, Chengqi Lyu, Dahua Lin, Kai Chen. “Analytical Annotation of Hallucinations in Large Language Models (ANAH).” 2024.
  • 通俗易懂:理解ICE协议及其Java实现ice4j

    引言

    在网络通信中,当涉及到穿越网络地址转换(NAT)设备时,传统的通信协议可能会面临一些挑战。为了解决这个问题,我们需要使用一种特殊的协议来实现穿越NAT设备的功能。其中一种常用的协议是ICE(Interactive Connectivity Establishment)协议,它将STUN(Simple Traversal of UDP through NAT)和TURN(Traversal Using Relays around NAT)等工具结合起来,为基于Offer/Answer的协议(如SIP和XMPP)提供了一种强大的穿越NAT的机制。

    在本文中,我们将介绍ICE协议及其在Java中的实现ice4j。我们将详细讨论ICE协议的原理、作用,以及ice4j项目的特点和用途。让我们一步步深入了解ICE协议及其Java实现ice4j吧!

    ICE协议的原理和作用

    ICE协议是一种用于解决NAT穿越问题的协议。它通过结合STUN和TURN等工具,提供了一种机制来使基于Offer/Answer的协议能够穿越NAT设备。

    ICE协议的核心思想是在通信的两端(称为对等体)之间建立一个可靠的连接。ICE协议通过以下步骤实现穿越NAT的功能:

    1. 收集候选地址:对等体收集自己的IP地址和端口号,并将其作为候选地址。这些候选地址可以是本地的IP地址,也可以是通过STUN服务器获取的公网地址。
    2. 建立连接:对等体之间交换候选地址,然后根据一系列规则和优先级选择最佳的候选地址来建立连接。
    3. NAT穿越:如果对等体之间的直接连接无法建立,ICE协议将尝试使用TURN服务器作为中继来实现穿越NAT。

    通过以上步骤,ICE协议能够有效地解决NAT穿越的问题,确保通信双方能够建立可靠的连接。

    ice4j项目的特点和用途

    ice4j是一个用Java实现的ICE协议库,它提供了一些特色功能和用途,使其成为开发者们首选的ICE协议实现之一。

    1. 简化开发:ice4j提供了一套简单易用的API,使开发者能够快速、方便地集成ICE协议功能到他们的应用程序中。
    2. 支持Pseudo TCP:除了基本的ICE功能,ice4j还支持Pseudo TCP协议,这是一种通过UDP模拟TCP连接的技术。它提供了可靠的数据传输,并通过模拟TCP的流量控制和拥塞控制来优化传输性能。
    3. Socket共享:ice4j支持在多个应用程序之间共享同一个UDP套接字,这样可以有效地减少网络资源的占用。

    通过使用ice4j,开发者们可以轻松地实现ICE协议的功能,从而使他们的应用程序能够在复杂的网络环境中实现可靠的通信。

    ice4j的应用举例

    以下是一些使用ice4j的典型应用场景:

    1. 即时通信应用:ice4j可以用于构建支持实时音视频通信的应用程序,如视频会议、在线聊天等。它能够帮助应用程序穿越NAT设备,实现可靠的点对点通信。
    2. WebRTC应用:WebRTC是一种用于在Web浏览器中实现实时通信的技术,而ICE协议是WebRTC的核心组成部分之一。通过使用ice4j,开发者可以轻松地在WebRTC应用中实现NAT穿越和建立可靠的连接。
    3. 网络游戏:在网络游戏中,玩家之间需要建立可靠的连接以进行实时游戏交互。通过使用ice4j,开发者可以实现游戏服务器和客户端之间的可靠通信,提供流畅的游戏体验。

    总结

    ICE协议及其Java实现ice4j为解决NAT穿越问题提供了一种强大的机制。通过收集候选地址、建立连接和使用中继服务器,ICE协议能够实现可靠的点对点通信。ice4j作为ICE协议的Java实现,提供了简化开发、支持Pseudo TCP和Socket共享等特色功能,使开发者能够轻松地集成ICE协议功能到他们的应用程序中。

    参考文献: