AI

近年来，大型语言模型（LLM）如Llama 2、Mistral和GPT系列在问答、语言生成和算术推理等基于文本的任务中取得了令人瞩目的成就。在此基础上，视觉语言模型（VLM）应运而生，它们不仅具备LLM强大的文本处理能力，还能够处理和理解多模态的视觉信息，例如图像和视频。 然而，VLM的空间推理能力，即理解和推理物体之间空间关系的能力，仍处于发展初期，尚未得到充分的研究和评估。为了填补这一空白，来自剑桥大学的研究人员提出了一种全新的评估基准TOPVIEWRS，用于评估VLM从顶视图视角理解和推理空间关系的能力。 为什么选择顶视图？ 与传统的第一人称视角相比，顶视图更贴近人类阅读和理解地图的方式。试想一下，当你查看地图寻找路线时，你是否会下意识地将自己置身于地图上空，以“上帝视角”俯瞰整个环境？ 顶视图的优势在于： TOPVIEWRS：挑战VLM空间推理能力的试金石 TOPVIEWRS数据集包含11,384道多项选择题，每道题都配有一张真实世界场景的真实或语义顶视图。 TOPVIEWRS数据集的设计具有以下特点： VLM的空间推理能力：现状与挑战 研究人员使用TOPVIEWRS数据集评估了10个代表性的开源和闭源VLM，包括Idefics、LLaVA-Next、InternLM-XComposer2、Qwen-VL、GPT-4V和Gemini等。 实验结果表明： 展望未来：通向更强大的空间推理能力 尽管VLM在空间推理方面仍有很大提升空间，但TOPVIEWRS数据集的提出为未来研究指明了方向。研究人员指出，未来可以探索以下方向： 参考文献: VLM空间推理能力为自动驾驶保驾护航 自动驾驶汽车被誉为未来交通的颠覆者，而实现安全可靠的自动驾驶离不开强大的环境感知和空间推理能力。传统的自动驾驶系统主要依赖于各种传感器（如摄像头、激光雷达、毫米波雷达等）收集环境信息，并通过算法进行处理和分析。然而，这些系统在处理复杂场景、理解交通规则、预测其他车辆和行人意图等方面仍面临巨大挑战。 近年来，随着VLM在视觉理解和语言推理方面的突破，其在自动驾驶领域的应用也逐渐引起关注。VLM强大的空间推理能力可以为自动驾驶系统提供以下助力： 1. 更精准的环境感知： 2. 更智能的决策规划： 3. 更人性化的交互体验： 应用实例： 挑战与展望： 尽管VLM在自动驾驶领域展现出巨大潜力，但仍面临一些挑战，例如： 总而言之，VLM的空间推理能力为自动驾驶技术的发展带来了新的机遇。随着算法和硬件的不断进步，VLM有望在未来自动驾驶系统中扮演更加重要的角色，为人们提供更安全、高效、舒适的出行体验。

This research paper investigates the capabilities of Vision-Language Models (VLMs) to understand and reason about spatial relationships from a top-view perspective. The authors argue that while VLMs have shown promise in various multimodal tasks, their spatial reasoning abilities, particularly from a top-view perspective, remain underexplored. Here’s a breakdown of the paper’s key aspects: 1. Problem … Read more

近年来，大型语言模型（LLM）展现出惊人的能力，不仅能理解和生成人类语言，还能与外部环境交互完成复杂任务，例如问答、代码生成、图像生成等。为了进一步提升这些“语言代理”的性能，研究人员提出了许多方法，其中“自训练”技术备受关注。 简单来说，自训练就是让机器“自学成才”。它不需要人工标注数据，而是让模型自己生成样本，评估样本质量，并利用高质量样本进行训练，从而不断提升自身水平。 然而，现有的自训练方法存在一些缺陷： 为了解决这些问题，这篇论文提出了一种名为“反思强化自训练（Re-ReST）”的新方法。 Re-ReST 的核心思想是引入一个“反思模型”，帮助机器从错误中学习。 具体来说，Re-ReST 包含两个关键组件： Re-ReST 的工作流程如下： 研究人员在一系列任务上对 Re-ReST 进行了测试，包括多跳推理、顺序决策、代码生成、视觉问答和文本到图像生成等，结果表明 Re-ReST 均取得了优于传统自训练方法的性能。 Re-ReST 的优势在于： Re-ReST 是一种新颖且有效的语言代理自训练方法，通过引入反思机制，让机器能够从错误中学习，不断提升自身的能力，在人工智能领域具有广阔的应用前景。 Q: 这篇论文试图解决什么问题？ A: 这篇论文提出了一种名为Reflection-Reinforced Self-Training（Re-ReST）的新方法，旨在解决语言代理（language agents）自我训练（self-training）过程中的一些限制。具体来说，这些限制包括： 为了解决这些问题，Re-ReST方法引入了一个反思模型（reflection model），该模型能够利用外部环境的反馈（例如代码生成中的单元测试结果）来改进低质量的样本，并将改进后的样本用于增强自我训练的数据集。通过这种方式，Re-ReST能够有效地提高低质量样本的质量，并高效地丰富自我训练数据集，从而提升模型性能。 Q: 有哪些相关研究？ A: 这篇论文提到了多个与自我训练（self-training）和自我改进（self-improvement）相关的研究工作。以下是一些主要的相关研究： 这些研究为Re-ReST方法提供了理论和技术背景，同时也展示了在自我训练和自我改进领域的研究进展。Re-ReST通过结合反思模型和自我训练，旨在提高语言代理在各种任务上的性能。 Q: 论文如何解决这个问题？ A: 论文通过提出Reflection-Reinforced Self-Training (Re-ReST)方法来解决自我训练中的效率和样本质量问题。以下是Re-ReST方法的关键步骤和组件： 通过这种方法，Re-ReST能够有效地利用低质量样本，提高自我训练数据集的质量，从而提升语言代理的性能。 Q: 论文做了哪些实验？ A: 论文中进行了一系列实验来验证Re-ReST方法的有效性。实验涵盖了多种任务，包括多跳推理、顺序决策制定、代码生成、视觉问题解答和文本到图像生成。以下是具体的实验设置和结果概述： 这些实验结果一致表明，Re-ReST方法能够在不同任务和数据集上提高语言代理的性能，证明了该方法的有效性和适用性。 Q: 有什么可以进一步探索的点？ A: 论文在最后一部分提出了几个未来可能的研究方向，这些可以作为进一步探索的点： 这些探索点可以帮助研究者们扩展Re-ReST方法的应用范围，提高其性能，并为未来的研究提供新的方向。 Q: 总结一下论文的主要内容 A: 这篇论文提出了一种名为Reflection-Reinforced Self-Training (Re-ReST)的新方法，旨在改善语言代理的自我训练过程。以下是论文的主要内容概述： … Read more

近年来，人工智能领域的大语言模型（LLM）如ChatGPT等展现出惊人的能力，能够生成流畅自然的文本，甚至完成复杂的推理任务。然而，这些模型也暴露出一些问题，例如生成的内容可能存在偏见或不符合事实。为了解决这些问题，研究人员一直在探索如何更有效地微调LLM，使其在特定任务上表现更出色。 聚焦注意力机制：LOFIT如何精准微调？ 微调LLM的一种常见方法是使用参数高效微调（PEFT）技术，例如LoRA和RED。这些方法只更新预训练模型中的一小部分参数，从而减少了计算成本和训练数据需求。然而，这些方法通常对网络进行统一的微调，或者将选择哪些模块进行微调视为一个超参数，而没有使用任何明确的解释或定位步骤。 与之形成鲜明对比的是，LOFIT（Localized Fine-Tuning on LLM Representations，LLM表征的局部微调） 框架则另辟蹊径，它首先选择对目标任务最重要的注意力头子集进行修改。 “LOFIT首先选择对目标任务最重要的注意力头子集进行修改，然后执行局部微调步骤，以学习添加到这些头表征中的偏移向量，从而得到最终模型。” 简单来说，LOFIT就像一位经验丰富的技师，它能够精准地找到LLM中最需要“调试”的部分，并进行针对性的调整，从而最大限度地提升模型的性能。 以小博大：LOFIT如何用最小的改动实现最大的提升？ 研究人员将LOFIT与其他表征干预方法（例如推理时干预（ITI）和表征工程（RepE））在真实性和推理任务上进行了比较。结果表明，即使使用通过ITI定位策略选择的注意力头，LOFIT也比ITI有效得多。 “对于真实性和推理任务，我们发现LOFIT的干预向量比来自表征干预方法（如推理时干预）的向量更有效地适应LLM。” 这意味着，LOFIT能够用更少的训练数据和计算资源，实现与其他方法相当甚至更好的效果。 精准定位，事半功倍：LOFIT为何如此高效？ LOFIT的出色表现主要归功于其独特的定位步骤。通过选择特定于任务的注意力头集合，LOFIT能够更有效地利用训练数据，从而在最终的微调步骤中获得更高的性能。 “我们发现，即使是跨越从Transformers中提取知识的相关任务（例如，提高TruthfulQA中的真实性和处理MQuAKE中的反事实知识），使用专门针对特定任务的注意力头集合也可以改进最终的微调步骤。” 研究人员还发现，不同规模的模型（包括Gemma-7B、Llama 2-7B和Llama 2-13B）的定位会识别出不同的注意力头子集，并且这些子集不能互换，否则会导致性能下降。 未来展望：LOFIT将如何改变LLM的应用？ LOFIT作为一种新兴的LLM微调方法，展现出巨大的潜力。它不仅能够提高模型在特定任务上的性能，还能够帮助我们更好地理解LLM的内部机制。 可以预见，随着LOFIT技术的不断发展和完善，它将在更多领域得到应用，例如： 参考文献： 总结 LOFIT通过精准定位和微调LLM的注意力机制，以最小的改动实现了最大的性能提升。这项技术有望在未来改变我们与人工智能交互的方式，为人类社会带来更多便利和福祉。 Q: 这篇论文试图解决什么问题？ A: 这篇论文提出了一种名为LOFIT（Localized Fine-Tuning on LLM Representations）的新框架，旨在解决如何有效地对大型预训练语言模型（LLMs）进行微调，以便在新任务上获得更好的性能。具体来说，它试图解决以下问题： 总的来说，LOFIT试图提供一个更加精确和高效的微调方法，以提高大型语言模型在特定任务上的性能，同时保持参数的稀疏性和提高模型的泛化能力。 Q: 有哪些相关研究？ A: 论文中提到了多个与LOFIT框架相关的研究领域和具体工作，主要包括以下几个方面： 论文中还提到了一些具体的工作和方法，例如Inference-Time Intervention (ITI)、Representation Engineering (RepE)、LoRA、RED等，这些都是在上述领域中的代表性研究。这些研究为LOFIT提供了理论基础和技术背景。 Q: 论文如何解决这个问题？ A: 论文通过提出一个名为LOFIT（Localized Fine-Tuning on LLM Representations）的框架来解决这个问题。LOFIT框架主要通过以下步骤实现： 通过这些步骤，LOFIT框架能够有效地对大型语言模型进行局部微调，以适应新任务，同时保持参数的稀疏性和提高模型的泛化能力。 Q: … Read more

引言：人工智能理解能力的新标杆 近年来，大型语言模型（LLM）的进步彻底改变了自然语言处理（NLP）领域。GPT-4、Gemini 和 Claude 等最先进的模型正在不断突破人工智能在语言理解和推理方面的能力边界。为了实现专家级人工智能的目标，即在各种任务中达到或超过 10% 的技能娴熟的成年人的表现，我们需要不断评估这些模型在广泛任务上的表现。 目前，有多种流行的基准测试用于衡量这种通用智能，例如侧重于考试题的 AGIEval、侧重于科学问题的 ARC、侧重于解决困难的合成任务的 BBH 以及涵盖 STEM、人文、社会科学等 57 个科目的考试题的 MMLU。 MMLU 的局限性：从饱和到不稳定 MMLU 因其广泛的覆盖面和高质量而成为评估 LLM 的事实标准。然而，当前 LLM 的快速发展已迅速导致 MMLU 的性能饱和。自 2023 年 3 月 GPT-4 达到 86.4% 的准确率以来，该基准测试一直没有取得任何重大进展。大多数最新的前沿模型，如 GPT-4-Turbo、Gemini-1.5-Pro、Claude 和 LLaMA-3-400B，其准确率都稳定在 86% 到 87% 之间。最近发布的 GPT-4o 在 MATH 和 Chatbot Arena 上取得了显著的性能提升（10% 以上），但在 MMLU 上仅获得了 1% 的提升，达到 87.4%。 除了饱和问题外，MMLU … Read more

战略的理念是以己之长攻人之短 在开发 AI Native Apps（原生人工智能应用程序）时，制定正确的战略非常重要。我们可以借鉴一些战略理念，例如以己之长攻人之短。这意味着我们应该专注于发挥自身的优势，而不是试图与大公司直接竞争。每家公司都有不同的使命和定位，我们应该在这个广阔的市场中找到适合自己的空间。 案例分析： 一个创业公司不应该试图通过大规模广告投放来击败大公司，因为大公司的投放成本几乎为零。即使是像字节跳动这样的公司，他们更关注用户口碑。创业公司应该采取不同的策略，利用自身的优势和资源建立局部的竞争优势。 AI Native 的定义 AI Native 并不是指应用中 AI 技术的占比，而是利用人工智能技术创造全新的应用范式。以 PPT 类应用为例，AI Native PPT 并不仅仅是将 AI 用于生成大纲和图片的组合，而是通过 AI 技术创造了一种全新的 PPT 创作方式。 案例分析： AI Native PPT 应用不仅可以帮助用户生成大纲和图片，还可以根据用户的输入自动调整内容和布局，提供更加智能和个性化的创作体验。这种新的应用范式使用户可以更高效地创建演示文稿，节省时间和精力。 寻找 AI Native 应用的 PMF 在开发 AI Native 应用之前，寻找产品-市场匹配（PMF）是非常重要的。在新技术出现之前，已经有一些先行者在尝试和验证新的产品。我们可以通过以下途径来寻找已经验证过的 PMF： 案例分析： 通过关注以上渠道，我们可以获得很多有关 AI Native 应用的信息。比如，我们可能发现在教育领域有一些成功的 AI Native 应用，如智能辅导系统，可以根据学生的学习情况提供个性化的辅导和反馈。这是一个已经验证过的 PMF，我们可以在此基础上思考如何差异化和创新。 AI 和 App 的配比 在开发 … Read more

在人工智能（AI）逐渐融入各类应用的今天，新的技术正在不断改变我们的PC体验。Intel Ultra CPU中的神经处理单元（NPU）便是其中的一个亮点。本文将详细介绍NPU的功能和DirectML在Windows上的应用，帮助读者更好地理解这两者的结合如何推动AI的发展。 什么是NPU？ NPU，全称为神经处理单元（Neural Processor Unit），是一种专门用于执行机器学习工作负载的处理器。与传统的CPU和GPU不同，NPU专门设计用于处理AI计算任务，具有高性能和低功耗的特点。这种创新的处理器能够释放CPU和GPU的计算资源，专注于高效执行AI工作负载，从而为用户提供更流畅的AI体验。 根据Intel社区博客《解锁Intel的神经处理单元与DirectML》[1]，Intel Ultra CPU中的NPU集成在SoC中，能够以相对较低的功耗执行高性能AI计算任务。这种设计不仅提升了AI计算的效率，还为PC带来了更多的可能性，例如创新的AI应用和更强大的生产力工具。 什么是DirectML？ DirectML是Windows上的机器学习平台API，它提供了对硬件加速器的通用抽象层。DirectML最初支持GPU，现在也扩展支持NPU。它是DirectX家族的一部分，与DirectX 12兼容，并且可以与其他DirectX组件（如DirectX 12）集成。此外，DirectML还与流行的机器学习和工具框架（如ONNX Runtime和Olive）集成，简化了在Windows生态系统中开发和部署AI体验的过程。 在《DirectML：加速Windows上的AI，现在支持NPU》[2]一文中提到，DirectML是一种低级别、硬件抽象的API，它能够直接访问现代设备（如GPU和NPU）的硬件功能。这种设计使得开发者可以利用DirectML在Windows平台上创建高效的AI应用。 DirectML与Intel NPU的结合 DirectML已经推出了对Intel Core Ultra处理器上NPU加速的开发者预览版本。这一版本支持在新的Windows 11设备上使用Intel Core Ultra处理器的NPU，并且可以运行一部分经过优化的机器学习模型。尽管目前的开发者预览版本仍处于初期阶段，只支持特定的模型，并且可能存在一些兼容性和性能方面的问题，但这个版本标志着AI PC时代的开始。 根据DirectX开发者博客《Introducing Neural Processor Unit (NPU) support in DirectML (developer preview)》[3]，DirectML团队正在努力改进兼容性和性能，并期待用户的反馈和经验。这一新功能的推出将为开发者提供更多的工具和资源，帮助他们在Windows平台上创建更强大的AI应用。 总结 NPU和DirectML的结合为PC带来了全新的AI体验。Intel Ultra CPU中的NPU能够高效地执行AI计算任务，而DirectML提供了与这些硬件加速器交互的简便途径。这种结合不仅提升了AI计算的性能，还为开发者提供了更多的可能性。 未来，我们期待看到更多基于NPU和DirectML的创新AI应用，为用户带来更丰富的AI体验。 Learn more:

摘要 大型语言模型（LLMs）经常会生成不准确或虚构的信息，并且通常在面对陌生问题时无法表达其不确定性，这限制了它们的广泛应用。以往的工作通过直接或自一致提示，或构建特定数据集进行监督微调来引导LLMs表达自信心。基于提示的方法表现较差，而基于训练的方法仅限于二进制或不准确的群体级别的置信度估计。在这项工作中，我们提出了先进的SaySelf训练框架，教会LLMs表达更准确细粒度的置信度估计。此外，除了置信度分数，SaySelf还引导LLMs生成自我反思的论证，清晰地识别其参数知识中的差距并解释其不确定性。这是通过使用LLMs自动总结特定知识中的不确定性的自然语言实现的。总结是基于对多个抽样推理链中的不一致性的分析，并利用得到的数据进行监督微调。此外，我们使用精心设计的奖励函数进行强化学习，来校准置信度估计，激励LLMs提供准确、高置信度的预测，并惩罚错误输出中的过度自信。在内部分布和外部分布的数据集上的实验结果证明了SaySelf在减少置信度校准误差和保持任务性能方面的有效性。我们展示了生成的自我反思论证是合理的，并且可以进一步提高校准性能。 引言 大型语言模型（LLMs）在推理和生成有效回答方面展现出了显著的能力，然而它们经常生成不受其训练数据或输入支持的信息（即幻觉），并且通常在面对陌生问题时不愿意表达其不确定性。因此，准确获取LLMs的可靠置信度估计至关重要。以往的工作主要包括基于提示和基于训练的方法来引导LLMs表达置信度。基于提示的方法使用特定提示来生成置信度分数，或者多次提示LLMs生成答案，并使用一致性水平作为置信度指标，但这些方法在置信度校准性能上表现较差或会导致额外的推理延迟。基于训练的方法构建了用于微调的专门数据集，鼓励LLMs表达不确定性。然而，这些方法经常提供次优或二进制的置信度估计，无法准确反映模型的置信度水平。在这项工作中，我们提出SaySelf，一种训练框架，用于教导LLMs生成更准确和细粒度的置信度估计。重要的是，SaySelf不仅限于以往的置信度引导，还使LLMs能够生成自我反思的论证，指出其知识差距并解释其置信度估计。我们通过使用LLMs自动总结多个抽样推理链中的不一致性来实现这一目标，并以第一人称的自然语言表达特定知识的不确定性。为了实现准确的置信度估计，我们使用精心设计的奖励函数进行强化学习，激励LLMs生成准确、高置信度的预测，并惩罚错误输出### SaySelf框架 SaySelf框架由两个关键阶段组成：监督微调和来自任务监督的强化学习。 监督微调阶段 在监督微调阶段，我们的目标是构建一个包含问题、推理链、自我反思论证和置信度估计的监督数据集D。我们通过从LLMs中抽样多个推理链来构建此数据集。然后，我们对抽样的推理链进行聚类，选择每个簇中的一个实例作为代表。为了得到置信度估计c，我们首先使用HotpotQA中的标注答案检查每个簇中的选定实例的正确性。然后，根据每个簇中的推理链的大小Sc计算置信度估计：c = round(Sc / N × 10)，其中Sc是推理链的大小，N是抽样次数。 为了得到自我反思论证r，我们指示LLMs仔细分析和比较所有选定的推理链，重点关注提供的知识事实的不一致性。然后，我们要求LLMs从第一人称的角度用自然语言总结“为什么LLMs不确定”。总结即是自我反思论证r。我们在附录A中提供了用于生成自我反思论证的提示。 通过监督微调，我们使用D对LLMs进行微调。目标函数如下： 其中Θ表示LLMs的参数，c’是置信度估计c的自然语言表达。 来自任务监督的强化学习阶段 由于监督微调的性质，模型往往会产生相同的置信度水平，例如正确答案的置信度较低，错误答案的置信度较高。为了解决这个问题，我们使用强化学习进一步校准LLMs的置信度估计，并鼓励模型生成更准确、区分度更高的值。在采样阶段，LLMs被要求生成答案、自我反思论证和置信度水平。为了优化模型，我们根据与标准答案的对比评估生成的答案，并设计了一个奖励函数。奖励函数考虑了答案的准确性和置信度。为了鼓励模型产生更多区分度的值，奖励函数具有二次输出。 我们使用Proximal Policy Optimization（PPO）算法对LLMs进行训练，根据定义的奖励函数进行优化。 实验结果 我们在多个数据集上进行了实验，包括HotpotQA、TruthfulQA、StrategyQA、FEVER、HaluEval和ParaRel。我们衡量了置信度校准性能、任务性能以及自我反思论证的准确性。 实验结果表明，SaySelf在减少置信度校准误差、提高置信度区分度和保持任务性能方面显著优于基线方法。与其他基线方法相比，SaySelf在各方面的表现都有显著提升。 结论 本文提出了SaySelf框架，用于从LLMs中获取更准确和细粒度的置信度估计和自我反思论证。SaySelf通过监督微调和基于任务的强化学习两个阶段实现。我们的实验结果验证了SaySelf在减少置信度校准误

在当今人工智能领域，大型语言模型（LLMs）已经展现出令人惊叹的推理和生成有效响应的能力。然而，它们在生成不准确或虚构信息（即“幻觉”）方面也存在显著问题，且通常无法明确表达它们的信心水平。这大大限制了它们的应用范围。那么，有没有一种方法可以让这些模型更准确地表达信心，并提供自我反思的理由呢？本文将带您探索一种全新的训练框架——SaySelf，它旨在解决这一问题。 1. 了解SaySelf的背景 大型语言模型在面对陌生问题时，常常会生成虚构信息，而无法准确传达其信心水平。之前的研究尝试通过直接提示或自一致性提示等方法来引导模型表达信心，但这些方法的效果并不理想。此外，构建专门的数据集进行监督微调的方法也存在局限性，通常只能生成二元或不准确的组级信心估计。 先前方法的局限性 2. SaySelf的创新之处 SaySelf不仅仅是一个训练框架，它还教会模型生成更精细的信心估计，并通过自我反思的理由解释其不确定性。 自我反思的理由 SaySelf通过自动总结模型在特定知识上的不确定性，生成自我反思的理由。这一过程基于对多个推理链条不一致性的分析，生成的数据用于监督微调。具体步骤如下： 强化学习的作用 为了校准信心估计，SaySelf采用了一种精心设计的奖励函数，通过强化学习激励模型生成准确的高信心预测，并对错误输出中的过度自信进行惩罚。 3. 实验结果与应用 在多个数据集上的表现 实验结果表明，SaySelf在多个数据集（包括分布内和分布外的数据集）上显著降低了信心校准误差，并保持了任务性能。此外，生成的自我反思理由合理，可以进一步改进校准性能。 应用前景 SaySelf的研究成果不仅对相关学术研究具有影响，还在实际应用中具有广泛的潜力，包括但不限于以下几个方面： 4. 结语 SaySelf为大型语言模型的信心表达和不确定性解释提供了一种创新的方法。通过监督微调和强化学习的结合，SaySelf不仅提高了模型的信心校准精度，还生成了有助于理解模型内部不确定性的自我反思理由。未来，SaySelf有望在提高AI的可信度和互动性能方面发挥重要作用。 参考文献 Xu, T., Wu, S., Diao, S., Liu, X., Wang, X., Chen, Y., & Gao, J. (2024). SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales. arXiv preprint arXiv:2405.20974. 链接 通过这篇文章，希望您能对SaySelf这一创新的训练框架有更深入的了解，并期待它在未来的广泛应用中发挥更大的作用。

摘要： 大型语言模型（LLM）在回答问题时，经常会生成不准确或捏造的信息，并且通常无法表明其置信度，这限制了它们的广泛应用。本文将介绍一种名为 SaySelf 的全新训练框架，它能够教会 LLM 表达更准确、更细粒度的置信度估计，并生成自我反思性解释，以明确识别其参数知识中的差距并解释其不确定性。 一、LLM 的困境：幻觉与不确定性 大型语言模型（LLM）虽然在推理和生成方面表现出色，但它们也经常会生成不准确或捏造的信息，我们称之为“幻觉”。更糟糕的是，当面对不熟悉的问题时，LLM 通常无法表达其不确定性。 “LLMs’ hallucination refers to instances where these models generate information that is not supported by their training data or the input provided.” 现有的 LLM 置信度获取方法主要分为基于提示和基于训练两种。基于提示的方法使用特定提示引导 LLM 生成置信度分数，或使用答案一致性作为置信度指标，但这些方法的校准性能较差，或会显著增加推理延迟。基于训练的方法则开发专门的数据集进行微调，鼓励 LLM 表达置信度，但这些方法通常只能提供次优或二元置信度估计，无法准确反映模型的置信度水平。 二、SaySelf：教会 LLM 表达自信 SaySelf 是一种训练框架，旨在教会 LLM 生成更准确、更细粒度的置信度估计，并生成自我反思性解释，以明确识别其参数知识中的差距并解释其不确定性。 2.1 监督微调：构建包含自我反思性解释的数据集 SaySelf 的第一步是构建一个包含自我反思性解释和置信度估计的模型特定数据集。 2.2 强化学习：校准置信度估计 为了进一步校准 LLM 的置信度估计，SaySelf … Read more