Month: June 2024

导语： 近年来，大型语言模型（LLM）在人工智能领域掀起了一场革命，其强大的文本生成和理解能力为众多应用场景带来了新的可能性。然而，将LLM应用从酷炫的演示转化为可实际部署的生产系统并非易事。本文将深入探讨LLM应用生产实践所面临的挑战，并结合实例分析解决方案，最后展望LLM应用的未来发展方向。 一、生产环境下LLM应用面临的挑战 1. 自然语言的模糊性 不同于精确的编程语言，自然语言本身就带有模糊性。这种模糊性在LLM应用中主要体现在用户指令和模型输出两个方面。 首先，用户指令的灵活性可能导致难以察觉的错误。例如，对代码进行微小的修改，例如添加字符或删除一行，通常会导致明显的错误提示。但如果对LLM的指令进行类似的修改，程序仍然可以运行，但输出结果可能大相径庭。 其次，LLM输出结果的模糊性是更大的挑战。这会导致两个问题： 为了解决这个问题，OpenAI等机构正在积极探索提高模型可靠性的方法。一些经验丰富的LLM开发者建议，我们需要适应这种模糊性，并围绕它构建工作流程。此外，通过尽可能提高工程严谨性，例如采用本文接下来讨论的各种方法，可以有效缓解LLM应用中的模糊性问题。 2. Prompt工程的挑战 Prompt工程是指设计和优化LLM输入指令的过程，其目标是引导模型生成符合预期的输出。 3. 成本和延迟 4. Prompting、微调和替代方案 选择Prompting还是微调取决于数据可用性、性能要求和成本限制。 5. 其他挑战 二、任务组合能力 实际应用中，LLM应用通常需要执行多个任务，并按照一定的控制流程进行组合。 1. 多任务应用 例如，“与数据对话”应用需要执行以下任务： 2. 代理、工具和控制流程 3. 使用LLM代理进行控制流程 可以使用LLM来决定控制流程的条件。例如，可以训练LLM根据用户输入选择不同的工具或执行不同的任务。 4. [...]

近年来，AI 应用如雨后春笋般涌现，推动着相关技术的蓬勃发展，其中向量数据库尤为引人注目。作为 AI 应用技术栈中的关键一环，向量数据库为 AI 应用，特别是大型语言模型 (LLM) 应用，提供了强大的知识存储和检索能力。本文将深入浅出地探讨向量数据库的原理和实现，涵盖其基本概念、相似性搜索算法、相似性测量算法、过滤算法以及选型等方面，并结合实际应用案例，展现向量数据库如何为 AI 插上知识的翅膀。 GPT 的瓶颈：有限的上下文窗口 GPT-3.5/4 的问世，无疑是 AI 发展史上的里程碑事件，其强大的文本生成能力令人惊叹。然而，GPT 模型并非完美无缺，其有限的上下文窗口大小成为制约其性能的一大瓶颈。以 GPT-3.5-turbo 为例，其最大上下文窗口大小仅为 4K tokens（约 3000 字），这意味着模型最多只能处理 3000 字以内的文本信息。 虽然 ChatGPT 等应用提供了对话记忆功能，但这并非 GPT 模型本身具备记忆能力，而是开发者通过外部存储机制实现的。当用户输入超过上下文窗口限制的内容时，GPT [...]

最近 ChatGPT 火爆出圈，引发了人们对 AI 产品交互方式的热烈讨论。不少人认为，对话和聊天是 AI 产品交互的必然趋势。然而，作为一名资深科技专栏作家，我对此持保留意见。我认为，Chatbot 并非 AI 交互的终极形态，甚至可以说，它是一个糟糕的开端。 对话没有预设用途，用户无从下手 好的工具应该“自带说明书”。就像一双手套，它以手的形式展现出来，所以我们会把它戴在手上。材料的特点也会告诉我们更多信息，金属网格的手套会保护我们防止物理伤害，橡胶手套是防止化学伤害，皮革手套很适合骑摩托的时候戴。 然而，面对 ChatGPT 这样的聊天界面，我们得到的唯一提示就是在一个文本框中输入字符。它没有清晰地告诉我们它能做什么，我们该如何提问，更没有告诉我们不应该如何使用它。用户只能像摸象的盲人一样，通过一次次试探来了解它。 提示工程门槛高，将用户拒之门外 诚然，用户可以通过学习和练习来掌握 Prompt 的技巧，但了解哪些 Prompt 有效的代价，仍然由每个用户承担。而这些内容原本可以直接融入界面中，降低使用门槛。 以 AI 写作助手为例，为了更好地定制个性化回复，我们可以为用户添加一些控件，让他们指定使用情境：需要的写作类型？目标读者是谁？整体风格应该是什么感觉？……将这些信息嵌入到界面中，而不是让用户绞尽脑汁地将其破解到他们提问的每个问题中。 信息展示方式单一，阅读体验不佳 自然语言对于概括的方向很好用，比如“把我送到正确的街区”这种。但一旦 ChatGPT 做出了回应，我该如何让它把我带到正确的房子前面去？ 目前的 Chatbot [...]

引言：Agent 浪潮与软件生产的未来 2023 年，AI Agent 成为科技领域最炙手可热的话题之一。AutoGPT 的横空出世，以惊人的速度登顶 Github 热榜，预示着软件生产方式即将迎来革命性变革。 LLM（大型语言模型）作为 AI Agent 的“大脑”，其推理能力日益强大。Agent 框架则为 LLM 提供了结构化的思考方法，使软件生产进入“3D 打印”时代：根据用户需求，个性化定制软件，打造每个知识工作者信赖的 AI 伙伴。 一、AI Agent：机遇与挑战 1. AI Agent 的定义与意义 AI Agent 是指能够主动思考和行动的智能体。与被动响应指令的 LLM 不同，Agent [...]

引言： 近期，ChatGPT 横空出世，以其出色的对话能力和知识储备，迅速成为人工智能领域的焦点。其背后究竟隐藏着哪些技术奥秘？本文将深入浅出地解读 ChatGPT 的核心技术，包括 RLHF、IFT、CoT 等，并探讨这些技术如何协同工作，打造出令人惊艳的智能对话体验。 一、 群雄逐鹿：AI 对话代理的现状 ChatGPT 并非横空出世，早在其之前，Meta、Google、DeepMind、Anthropic 等机构就已经推出了各自的语言模型对话代理，例如 BlenderBot、LaMDA、Sparrow、Assistant 等。这些对话代理都致力于实现“指令依从”，即根据用户指令完成任务。 然而，ChatGPT 的成功并非偶然，它在技术路线上有着独特之处。下表对目前主流的 AI 聊天机器人进行了比较： LaMDA BlenderBot 3 Sparrow ChatGPT / InstructGPT Assistant 组织 Google Meta [...]

近年来，深度学习在自然语言处理领域取得了巨大成功，这主要归功于 Transformer 架构。然而，状态空间模型（SSM），例如 Mamba，最近被证明在中小型规模上可以与 Transformer 媲美甚至超越。本文将深入探讨这两种模型之间的密切关系，并通过对结构化半可分矩阵的不同分解，建立 SSM 和注意力变体之间丰富的理论联系框架。我们的状态空间对偶性（SSD）框架将引领我们设计一种新的架构（Mamba-2），其核心层是对 Mamba 选择性 SSM 的改进，速度提高了 2-8 倍，同时在语言建模方面继续与 Transformer 保持竞争力。 Transformer 的效率瓶颈与状态空间模型的崛起 Transformer，特别是仅解码器模型（例如 GPT 和 Llama），以因果方式处理输入序列，是现代深度学习成功的关键驱动力之一。然而，其核心注意力层存在效率问题，例如在训练期间按序列长度呈二次方增长，以及在自回归生成期间需要大小与序列长度呈线性关系的缓存。为了解决这些问题，许多方法试图近似核心注意力层（Tay et al. 2022），但效果有限。 与此同时，一类替代序列模型——结构化状态空间模型（SSM）——应运而生。它们在训练期间按序列长度呈线性增长，在生成期间具有恒定的状态大小。SSM 在长程任务上表现出色（例如 S4），并且最近在中小型规模的语言建模上与 Transformer 媲美甚至超越（例如 [...]

近年来，深度学习领域取得的巨大成功离不开 Transformer 架构的贡献，尤其是在语言建模方面。然而，随着模型规模的不断扩大，Transformer 的二次时间复杂度成为了其进一步发展的瓶颈。与此同时，状态空间模型（SSM），例如 Mamba，展现出与 Transformer 相媲美甚至更优的性能，并且在中小规模模型上具有线性时间复杂度优势。 本文将深入探讨 Transformer 与 SSM 之间的联系，并提出一个全新的理论框架——结构化状态空间对偶性（SSD）。该框架揭示了 SSM 与各种注意力变体之间的密切关系，并通过对结构化半可分矩阵的不同分解方式建立了联系。基于 SSD 框架，我们设计了一种全新的架构——Mamba-2，其核心层是对 Mamba 选择性 SSM 的改进，速度提升了 2-8 倍，同时在语言建模方面仍然可以与 Transformer 竞争。 Transformer 与 SSM 的前世今生 Transformer：深度学习的明星架构 Transformer，特别是仅解码器模型（例如 [...]