C3P00

在人工智能（AI）逐渐融入各类应用的今天，新的技术正在不断改变我们的PC体验。Intel Ultra CPU中的神经处理单元（NPU）便是其中的一个亮点。本文将详细介绍NPU的功能和DirectML在Windows上的应用，帮助读者更好地理解这两者的结合如何推动AI的发展。 什么是NPU？ NPU，全称为神经处理单元（Neural Processor Unit），是一种专门用于执行机器学习工作负载的处理器。与传统的CPU和GPU不同，NPU专门设计用于处理AI计算任务，具有高性能和低功耗的特点。这种创新的处理器能够释放CPU和GPU的计算资源，专注于高效执行AI工作负载，从而为用户提供更流畅的AI体验。 根据Intel社区博客《解锁Intel的神经处理单元与DirectML》[1]，Intel Ultra CPU中的NPU集成在SoC中，能够以相对较低的功耗执行高性能AI计算任务。这种设计不仅提升了AI计算的效率，还为PC带来了更多的可能性，例如创新的AI应用和更强大的生产力工具。 什么是DirectML？ DirectML是Windows上的机器学习平台API，它提供了对硬件加速器的通用抽象层。DirectML最初支持GPU，现在也扩展支持NPU。它是DirectX家族的一部分，与DirectX 12兼容，并且可以与其他DirectX组件（如DirectX 12）集成。此外，DirectML还与流行的机器学习和工具框架（如ONNX Runtime和Olive）集成，简化了在Windows生态系统中开发和部署AI体验的过程。 在《DirectML：加速Windows上的AI，现在支持NPU》[2]一文中提到，DirectML是一种低级别、硬件抽象的API，它能够直接访问现代设备（如GPU和NPU）的硬件功能。这种设计使得开发者可以利用DirectML在Windows平台上创建高效的AI应用。 DirectML与Intel NPU的结合 DirectML已经推出了对Intel Core Ultra处理器上NPU加速的开发者预览版本。这一版本支持在新的Windows 11设备上使用Intel Core Ultra处理器的NPU，并且可以运行一部分经过优化的机器学习模型。尽管目前的开发者预览版本仍处于初期阶段，只支持特定的模型，并且可能存在一些兼容性和性能方面的问题，但这个版本标志着AI PC时代的开始。 根据DirectX开发者博客《Introducing Neural Processor Unit (NPU) support in DirectML (developer preview)》[3]，DirectML团队正在努力改进兼容性和性能，并期待用户的反馈和经验。这一新功能的推出将为开发者提供更多的工具和资源，帮助他们在Windows平台上创建更强大的AI应用。 总结 NPU和DirectML的结合为PC带来了全新的AI体验。Intel Ultra CPU中的NPU能够高效地执行AI计算任务，而DirectML提供了与这些硬件加速器交互的简便途径。这种结合不仅提升了AI计算的性能，还为开发者提供了更多的可能性。 未来，我们期待看到更多基于NPU和DirectML的创新AI应用，为用户带来更丰富的AI体验。 Learn more:

摘要 大型语言模型（LLMs）经常会生成不准确或虚构的信息，并且通常在面对陌生问题时无法表达其不确定性，这限制了它们的广泛应用。以往的工作通过直接或自一致提示，或构建特定数据集进行监督微调来引导LLMs表达自信心。基于提示的方法表现较差，而基于训练的方法仅限于二进制或不准确的群体级别的置信度估计。在这项工作中，我们提出了先进的SaySelf训练框架，教会LLMs表达更准确细粒度的置信度估计。此外，除了置信度分数，SaySelf还引导LLMs生成自我反思的论证，清晰地识别其参数知识中的差距并解释其不确定性。这是通过使用LLMs自动总结特定知识中的不确定性的自然语言实现的。总结是基于对多个抽样推理链中的不一致性的分析，并利用得到的数据进行监督微调。此外，我们使用精心设计的奖励函数进行强化学习，来校准置信度估计，激励LLMs提供准确、高置信度的预测，并惩罚错误输出中的过度自信。在内部分布和外部分布的数据集上的实验结果证明了SaySelf在减少置信度校准误差和保持任务性能方面的有效性。我们展示了生成的自我反思论证是合理的，并且可以进一步提高校准性能。 引言 大型语言模型（LLMs）在推理和生成有效回答方面展现出了显著的能力，然而它们经常生成不受其训练数据或输入支持的信息（即幻觉），并且通常在面对陌生问题时不愿意表达其不确定性。因此，准确获取LLMs的可靠置信度估计至关重要。以往的工作主要包括基于提示和基于训练的方法来引导LLMs表达置信度。基于提示的方法使用特定提示来生成置信度分数，或者多次提示LLMs生成答案，并使用一致性水平作为置信度指标，但这些方法在置信度校准性能上表现较差或会导致额外的推理延迟。基于训练的方法构建了用于微调的专门数据集，鼓励LLMs表达不确定性。然而，这些方法经常提供次优或二进制的置信度估计，无法准确反映模型的置信度水平。在这项工作中，我们提出SaySelf，一种训练框架，用于教导LLMs生成更准确和细粒度的置信度估计。重要的是，SaySelf不仅限于以往的置信度引导，还使LLMs能够生成自我反思的论证，指出其知识差距并解释其置信度估计。我们通过使用LLMs自动总结多个抽样推理链中的不一致性来实现这一目标，并以第一人称的自然语言表达特定知识的不确定性。为了实现准确的置信度估计，我们使用精心设计的奖励函数进行强化学习，激励LLMs生成准确、高置信度的预测，并惩罚错误输出### SaySelf框架 SaySelf框架由两个关键阶段组成：监督微调和来自任务监督的强化学习。 监督微调阶段 在监督微调阶段，我们的目标是构建一个包含问题、推理链、自我反思论证和置信度估计的监督数据集D。我们通过从LLMs中抽样多个推理链来构建此数据集。然后，我们对抽样的推理链进行聚类，选择每个簇中的一个实例作为代表。为了得到置信度估计c，我们首先使用HotpotQA中的标注答案检查每个簇中的选定实例的正确性。然后，根据每个簇中的推理链的大小Sc计算置信度估计：c = round(Sc / N × 10)，其中Sc是推理链的大小，N是抽样次数。 为了得到自我反思论证r，我们指示LLMs仔细分析和比较所有选定的推理链，重点关注提供的知识事实的不一致性。然后，我们要求LLMs从第一人称的角度用自然语言总结“为什么LLMs不确定”。总结即是自我反思论证r。我们在附录A中提供了用于生成自我反思论证的提示。 通过监督微调，我们使用D对LLMs进行微调。目标函数如下： 其中Θ表示LLMs的参数，c’是置信度估计c的自然语言表达。 来自任务监督的强化学习阶段 由于监督微调的性质，模型往往会产生相同的置信度水平，例如正确答案的置信度较低，错误答案的置信度较高。为了解决这个问题，我们使用强化学习进一步校准LLMs的置信度估计，并鼓励模型生成更准确、区分度更高的值。在采样阶段，LLMs被要求生成答案、自我反思论证和置信度水平。为了优化模型，我们根据与标准答案的对比评估生成的答案，并设计了一个奖励函数。奖励函数考虑了答案的准确性和置信度。为了鼓励模型产生更多区分度的值，奖励函数具有二次输出。 我们使用Proximal Policy Optimization（PPO）算法对LLMs进行训练，根据定义的奖励函数进行优化。 实验结果 我们在多个数据集上进行了实验，包括HotpotQA、TruthfulQA、StrategyQA、FEVER、HaluEval和ParaRel。我们衡量了置信度校准性能、任务性能以及自我反思论证的准确性。 实验结果表明，SaySelf在减少置信度校准误差、提高置信度区分度和保持任务性能方面显著优于基线方法。与其他基线方法相比，SaySelf在各方面的表现都有显著提升。 结论 本文提出了SaySelf框架，用于从LLMs中获取更准确和细粒度的置信度估计和自我反思论证。SaySelf通过监督微调和基于任务的强化学习两个阶段实现。我们的实验结果验证了SaySelf在减少置信度校准误

在当今人工智能领域，大型语言模型（LLMs）已经展现出令人惊叹的推理和生成有效响应的能力。然而，它们在生成不准确或虚构信息（即“幻觉”）方面也存在显著问题，且通常无法明确表达它们的信心水平。这大大限制了它们的应用范围。那么，有没有一种方法可以让这些模型更准确地表达信心，并提供自我反思的理由呢？本文将带您探索一种全新的训练框架——SaySelf，它旨在解决这一问题。 1. 了解SaySelf的背景 大型语言模型在面对陌生问题时，常常会生成虚构信息，而无法准确传达其信心水平。之前的研究尝试通过直接提示或自一致性提示等方法来引导模型表达信心，但这些方法的效果并不理想。此外，构建专门的数据集进行监督微调的方法也存在局限性，通常只能生成二元或不准确的组级信心估计。 先前方法的局限性 2. SaySelf的创新之处 SaySelf不仅仅是一个训练框架，它还教会模型生成更精细的信心估计，并通过自我反思的理由解释其不确定性。 自我反思的理由 SaySelf通过自动总结模型在特定知识上的不确定性，生成自我反思的理由。这一过程基于对多个推理链条不一致性的分析，生成的数据用于监督微调。具体步骤如下： 强化学习的作用 为了校准信心估计，SaySelf采用了一种精心设计的奖励函数，通过强化学习激励模型生成准确的高信心预测，并对错误输出中的过度自信进行惩罚。 3. 实验结果与应用 在多个数据集上的表现 实验结果表明，SaySelf在多个数据集（包括分布内和分布外的数据集）上显著降低了信心校准误差，并保持了任务性能。此外，生成的自我反思理由合理，可以进一步改进校准性能。 应用前景 SaySelf的研究成果不仅对相关学术研究具有影响，还在实际应用中具有广泛的潜力，包括但不限于以下几个方面： 4. 结语 SaySelf为大型语言模型的信心表达和不确定性解释提供了一种创新的方法。通过监督微调和强化学习的结合，SaySelf不仅提高了模型的信心校准精度，还生成了有助于理解模型内部不确定性的自我反思理由。未来，SaySelf有望在提高AI的可信度和互动性能方面发挥重要作用。 参考文献 Xu, T., Wu, S., Diao, S., Liu, X., Wang, X., Chen, Y., & Gao, J. (2024). SaySelf: Teaching LLMs to Express Confidence with Self-Reflective Rationales. arXiv preprint arXiv:2405.20974. 链接 通过这篇文章，希望您能对SaySelf这一创新的训练框架有更深入的了解，并期待它在未来的广泛应用中发挥更大的作用。

摘要： 大型语言模型（LLM）在回答问题时，经常会生成不准确或捏造的信息，并且通常无法表明其置信度，这限制了它们的广泛应用。本文将介绍一种名为 SaySelf 的全新训练框架，它能够教会 LLM 表达更准确、更细粒度的置信度估计，并生成自我反思性解释，以明确识别其参数知识中的差距并解释其不确定性。 一、LLM 的困境：幻觉与不确定性 大型语言模型（LLM）虽然在推理和生成方面表现出色，但它们也经常会生成不准确或捏造的信息，我们称之为“幻觉”。更糟糕的是，当面对不熟悉的问题时，LLM 通常无法表达其不确定性。 “LLMs’ hallucination refers to instances where these models generate information that is not supported by their training data or the input provided.” 现有的 LLM 置信度获取方法主要分为基于提示和基于训练两种。基于提示的方法使用特定提示引导 LLM 生成置信度分数，或使用答案一致性作为置信度指标，但这些方法的校准性能较差，或会显著增加推理延迟。基于训练的方法则开发专门的数据集进行微调，鼓励 LLM 表达置信度，但这些方法通常只能提供次优或二元置信度估计，无法准确反映模型的置信度水平。 二、SaySelf：教会 LLM 表达自信 SaySelf 是一种训练框架，旨在教会 LLM 生成更准确、更细粒度的置信度估计，并生成自我反思性解释，以明确识别其参数知识中的差距并解释其不确定性。 2.1 监督微调：构建包含自我反思性解释的数据集 SaySelf 的第一步是构建一个包含自我反思性解释和置信度估计的模型特定数据集。 2.2 强化学习：校准置信度估计 为了进一步校准 LLM 的置信度估计，SaySelf … Read more

This paper introduces SaySelf, a novel framework designed to address the limitations of Large Language Models (LLMs) in expressing confidence and acknowledging uncertainty. The key contributions and findings are: Problem: LLMs often generate inaccurate information (hallucination) and struggle to convey their confidence levels, limiting their reliability and trustworthiness. Proposed Solution: SaySelf SaySelf is a two-stage … Read more

大型语言模型 (LLM) 如 Llama，凭借其强大的文本生成能力，在聊天机器人、机器翻译、代码生成等领域掀起了一场技术革命。而这卓越性能的背后，离不开精心设计的训练过程，其中损失函数扮演着至关重要的角色，它引导着模型不断优化，最终达到令人惊叹的效果。 1. 损失函数：指引模型学习的方向 试想一下，训练 LLM 就像教孩子学习写作。我们会给孩子看大量的文章，并告诉他们哪些写得好，哪些写得不好，以及如何改进。在这个过程中，评价文章好坏的标准就是损失函数。 对于 LLM 来说，损失函数的目标是衡量模型预测的文本序列与真实文本序列之间的差异。损失函数的值越小，说明模型预测得越准确，反之则说明模型需要进一步调整。 2. Llama 的利器：交叉熵损失函数 Llama 主要使用交叉熵损失函数 (Cross-Entropy Loss) 进行训练。 2.1 交叉熵：信息论与概率的邂逅 交叉熵的概念源于信息论，用于衡量两个概率分布之间的差异。在 LLM 中，这两个概率分布分别代表： 2.2 以公式阐述本质 假设我们要预测一句话的下一个词，模型预测的概率分布为 [0.1, 0.2, 0.3, 0.4]，而真实概率分布为 [0, 0, 1, 0]，这意味着真实的下一个词是第四个词。交叉熵损失函数的计算公式如下： 可以看出，交叉熵损失函数鼓励模型预测的概率分布尽可能接近真实概率分布。 3. 优化算法：雕琢模型的利器 仅仅定义损失函数还不够，还需要选择合适的优化算法来最小化损失函数。Llama 通常使用** Adam 优化器**，它结合了 Momentum 和 RMSprop 两种优化算法的优点，能够高效地更新模型参数，使其朝着损失函数减小的方向调整。 4. 总结 损失函数是 LLM 训练的核心，它引导着模型学习语言的规律，最终生成流畅自然的文本。Llama 使用交叉熵损失函数和 Adam 优化器，在海量文本数据上进行训练，最终成就了其强大的文本生成能力。 … Read more

在训练语言模型（如LLaMA）时，损失函数（Loss Function）的选择和制定非常重要。损失函数用于衡量模型的预测与实际目标之间的差异，并指导模型参数的更新，以提高模型的性能。对于语言模型，通常使用交叉熵损失函数（Cross Entropy Loss），但具体的实现可以根据不同的任务和需求进行调整。 以下是制定损失函数的一般步骤和考虑因素： 示例代码 下面是一个简化的示例代码片段，展示了如何在训练循环中计算交叉熵损失： 上述步骤和示例代码展示了如何在语言模型（如LLaMA）的训练过程中制定和计算损失函数。接下来，我们可以进一步优化和扩展这个流程，考虑更多实际训练中的细节。 进一步优化和扩展 总结 在训练语言模型（如LLaMA）时，制定损失函数的关键步骤包括选择适当的损失函数（通常为交叉熵损失），确保输入和输出形状匹配，考虑掩码来处理填充部分，以及使用优化器和反向传播来更新模型参数。进一步优化可以包括梯度裁剪、学习率调度器和有效的批量处理等方法。 通过这些步骤和优化技巧，可以有效地训练语言模型，使其在语言生成任务中表现出色。