Day: August 12, 2024

在人工智能快速发展的今天，大型语言模型(LLMs)已成为自然语言处理领域的翘楚，在教育、医疗、金融等多个领域展现出惊人的能力。然而，这些模型也面临着一个令人困扰的问题——”幻觉”。最近，一个简单的数学比较问题引发了业界的广泛讨论，揭示了LLMs在推理过程中存在的严重缺陷。本文将深入探讨这一问题，并介绍研究人员提出的创新解决方案。 9.11 vs 9.9：一个简单却令人困惑的错误 近期，人工智能研究界发现了一个令人不安的现象：当被问及”9.11和9.9哪个更大”时，几乎所有的大型语言模型都给出了错误的答案，认为9.11更大。更令人惊讶的是，一些模型甚至为这个错误的结论提供了看似合理的解释。 这个简单的数学比较错误引发了研究人员的深入思考。他们提出了几种可能的解释： 然而，这些解释并不能完全说明问题的本质，特别是考虑到有些模型能够给出正确的比较逻辑，却仍然得出错误的结论。 推理顺序的重要性 研究人员注意到，在大多数情况下，模型总是先给出答案，然后再提供推理过程。考虑到语言模型的输出是顺序生成的，这意味着在生成答案时，模型还没有”看到”后续的推理部分。基于这一观察，研究人员设计了一组新的提示方式： 令人惊讶的是，即使同一个模型在原始提示下能给出正确答案，当被要求先给出答案再推理时，也可能出现错误判断。这一发现证实了研究人员的假设：语言模型的顺序生成机制，以及在生成前文时无法预见后续文本的特性，会影响模型判断的准确性。 推理顺序作为基准：一种新的评估方法 基于上述发现，研究人员提出了一种新的基准方法来评估大型语言模型的自一致性：推理顺序基准（Reasoning Order as Benchmark）。这种方法的核心思想是： 这种方法简单而有效，能够揭示模型在不同推理顺序下的表现差异，从而评估其推理能力的可靠性。 反思提示：提高模型推理准确性的新策略 为了解决推理顺序导致的问题，研究人员提出了一种名为”反思提示”（Reflexive Prompting）的新方法。这种方法将语言模型的查询过程从单步直接询问转变为两步程序： 这种策略的可行性主要基于两个方面： 实验结果：反思提示的有效性 为了评估推理顺序基准和反思提示策略的有效性，研究人员在多个推理数据集上对不同的大型语言模型进行了测试。实验数据集包括： 实验使用了四种常见的大型语言模型：GPT-4o-mini、Llama-3.1-70b、Claude-3.5-sonnet和Gemini-1.5-flash。 实验结果显示，反思提示策略在大多数情况下都能提高模型的推理准确性。例如，在TruthfulQA数据集上，Claude模型的准确率从83.1%提升到了84.5%，Gemini模型的准确率从72.9%提升到了75.7%，Llama模型的准确率从65.9%大幅提升到了72.6%。 更重要的是，研究发现推理顺序基准的一致性结果与模型在各种提示策略下的准确率之间存在很强的相关性。这证明了推理顺序基准作为评估方法的有效性和实用性。 案例研究：反思提示的实际应用 为了更直观地理解反思提示的效果，我们来看一个具体的案例。在一个关于概率的问题中，模型被问及：”如果你掷两个骰子，得到至少一个6的概率是多少？” 在”答案优先”的提示下，模型给出了错误的答案： “至少一个6的概率是1/6。理由是每个骰子出现6的概率是1/6，两个骰子中至少有一个6的概率就是1/6。” 而在”逻辑优先”的提示下，模型给出了正确的推理过程和答案： [...]

在人工智能快速发展的今天,大语言模型(LLM)已经成为了改变人机交互方式的重要技术。然而,如何让这些强大的模型在发挥其卓越能力的同时,也能够满足不同用户的个性化需求,成为了一个亟待解决的问题。近日,来自加州大学圣地亚哥分校的研究团队提出了一种新颖的方法,有望为这一难题带来突破性的解决方案。 多目标对齐:平衡AI的多重属性 在人工智能领域,多目标对齐(Multi-objective Alignment)是一个备受关注的研究方向。它旨在平衡和控制大语言模型的多个对齐目标,如有用性、无害性和诚实性等,以满足不同用户的个性化需求。 然而,现有的方法往往需要训练多个模型来应对各种用户偏好,这导致了一个棘手的问题:随着对齐目标和用户偏好的增加,所需训练的模型数量呈线性增长。不仅如此,这些方法在可扩展性方面也存在不足,每当考虑新的对齐目标时,都需要进行大量的重新训练。 MCA:一种革命性的新方法 为了解决上述问题,研究团队提出了一种名为MCA(Multi-objective Contrastive Alignment)的创新方法。这种方法的核心思想是为每个对齐目标构造一个专家提示(Expert Prompt)和一个对抗提示(Adversarial Prompt),并在解码时通过对比这两种提示来平衡不同的目标。 MCA方法的工作原理如下: 这种方法的独特之处在于,它可以在解码时实现对模型输出的实时控制,而无需事先训练多个模型。这不仅大大提高了系统的灵活性,还显著降低了计算成本。 MCA的优势:突破性的多目标对齐效果 研究团队对MCA方法进行了严格的实验验证,结果表明,该方法在获得不同对齐目标之间的良好分布的Pareto前沿方面,明显优于现有方法。 Pareto前沿是多目标优化中的一个重要概念,它代表了在不损害任何一个目标的情况下,无法再改进其他目标的解决方案集合。MCA方法能够在多个对齡目标之间取得更好的平衡,这意味着它可以更好地满足不同用户的个性化需求。 具体来说,MCA方法的优势主要体现在以下几个方面: MCA的工作原理深入解析 为了更好地理解MCA方法的工作原理,我们可以通过一个具体的例子来进行说明。假设我们有两个对齐目标:有用性和无害性。 对于有用性目标,我们可以构造如下的专家提示和对抗提示: 对于无害性目标,我们可以构造如下的专家提示和对抗提示: 在模型解码过程中,MCA方法会将这些提示进行对比,并根据用户的偏好或系统的设置,动态调整不同目标的权重。例如,如果用户更注重有用性,系统会倾向于采纳有用性目标的专家提示,同时适度考虑无害性目标的专家提示。 这种动态平衡的过程可以用数学公式表示如下: $S = w_1 * (E_1 – A_1) [...]