导语： 近年来，大型语言模型 (LLM) 在人工智能领域取得了显著的进展。除了生成流畅的文本、故事、论文和程序代码外，LLM 还展现出作为通用问题解决者的巨大潜力。本文将深入探讨如何利用 LLM 构建自主智能体，并介绍其核心组件、应用案例以及面临的挑战。 智能体系统概述 LLM 驱动的自主智能体系统中，LLM 充当智能体的“大脑”，并与以下关键组件协同工作： ![LLM 驱动的自主智能体系统概述][] 组件一：规划 规划是智能体执行复杂任务的关键。智能体需要明确任务步骤并制定计划。 任务分解 自我反思 自我反思使智能体能够通过改进过去的行动决策和纠正错误来迭代改进，这在现实世界中不可避免的试错过程中至关重要。 组件二：记忆 记忆是指获取、存储、保留和检索信息的过程。 记忆类型 最大内积搜索 (MIPS) 外部记忆可以缓解有限注意力跨度的限制。标准做法是将信息的嵌入表示保存到支持快速最大内积搜索 (MIPS) 的向量存储数据库中。 一些常见的快速 MIPS 算法包括： 组件三：工具使用 [...]
导语： 近年来，大型语言模型（LLM）在人工智能领域掀起了一场革命，其强大的文本生成和理解能力为众多应用场景带来了新的可能性。然而，将LLM应用从酷炫的演示转化为可实际部署的生产系统并非易事。本文将深入探讨LLM应用生产实践所面临的挑战，并结合实例分析解决方案，最后展望LLM应用的未来发展方向。 一、生产环境下LLM应用面临的挑战 1. 自然语言的模糊性 不同于精确的编程语言，自然语言本身就带有模糊性。这种模糊性在LLM应用中主要体现在用户指令和模型输出两个方面。 首先，用户指令的灵活性可能导致难以察觉的错误。例如，对代码进行微小的修改，例如添加字符或删除一行，通常会导致明显的错误提示。但如果对LLM的指令进行类似的修改，程序仍然可以运行，但输出结果可能大相径庭。 其次，LLM输出结果的模糊性是更大的挑战。这会导致两个问题： 为了解决这个问题，OpenAI等机构正在积极探索提高模型可靠性的方法。一些经验丰富的LLM开发者建议，我们需要适应这种模糊性，并围绕它构建工作流程。此外，通过尽可能提高工程严谨性，例如采用本文接下来讨论的各种方法，可以有效缓解LLM应用中的模糊性问题。 2. Prompt工程的挑战 Prompt工程是指设计和优化LLM输入指令的过程，其目标是引导模型生成符合预期的输出。 3. 成本和延迟 4. Prompting、微调和替代方案 选择Prompting还是微调取决于数据可用性、性能要求和成本限制。 5. 其他挑战 二、任务组合能力 实际应用中，LLM应用通常需要执行多个任务，并按照一定的控制流程进行组合。 1. 多任务应用 例如，“与数据对话”应用需要执行以下任务： 2. 代理、工具和控制流程 3. 使用LLM代理进行控制流程 可以使用LLM来决定控制流程的条件。例如，可以训练LLM根据用户输入选择不同的工具或执行不同的任务。 4. [...]
近年来，AI 应用如雨后春笋般涌现，推动着相关技术的蓬勃发展，其中向量数据库尤为引人注目。作为 AI 应用技术栈中的关键一环，向量数据库为 AI 应用，特别是大型语言模型 (LLM) 应用，提供了强大的知识存储和检索能力。本文将深入浅出地探讨向量数据库的原理和实现，涵盖其基本概念、相似性搜索算法、相似性测量算法、过滤算法以及选型等方面，并结合实际应用案例，展现向量数据库如何为 AI 插上知识的翅膀。 GPT 的瓶颈：有限的上下文窗口 GPT-3.5/4 的问世，无疑是 AI 发展史上的里程碑事件，其强大的文本生成能力令人惊叹。然而，GPT 模型并非完美无缺，其有限的上下文窗口大小成为制约其性能的一大瓶颈。以 GPT-3.5-turbo 为例，其最大上下文窗口大小仅为 4K tokens（约 3000 字），这意味着模型最多只能处理 3000 字以内的文本信息。 虽然 ChatGPT 等应用提供了对话记忆功能，但这并非 GPT 模型本身具备记忆能力，而是开发者通过外部存储机制实现的。当用户输入超过上下文窗口限制的内容时，GPT [...]
最近 ChatGPT 火爆出圈，引发了人们对 AI 产品交互方式的热烈讨论。不少人认为，对话和聊天是 AI 产品交互的必然趋势。然而，作为一名资深科技专栏作家，我对此持保留意见。我认为，Chatbot 并非 AI 交互的终极形态，甚至可以说，它是一个糟糕的开端。 对话没有预设用途，用户无从下手 好的工具应该“自带说明书”。就像一双手套，它以手的形式展现出来，所以我们会把它戴在手上。材料的特点也会告诉我们更多信息，金属网格的手套会保护我们防止物理伤害，橡胶手套是防止化学伤害，皮革手套很适合骑摩托的时候戴。 然而，面对 ChatGPT 这样的聊天界面，我们得到的唯一提示就是在一个文本框中输入字符。它没有清晰地告诉我们它能做什么，我们该如何提问，更没有告诉我们不应该如何使用它。用户只能像摸象的盲人一样，通过一次次试探来了解它。 提示工程门槛高，将用户拒之门外 诚然，用户可以通过学习和练习来掌握 Prompt 的技巧，但了解哪些 Prompt 有效的代价，仍然由每个用户承担。而这些内容原本可以直接融入界面中，降低使用门槛。 以 AI 写作助手为例，为了更好地定制个性化回复，我们可以为用户添加一些控件，让他们指定使用情境：需要的写作类型？目标读者是谁？整体风格应该是什么感觉？……将这些信息嵌入到界面中，而不是让用户绞尽脑汁地将其破解到他们提问的每个问题中。 信息展示方式单一，阅读体验不佳 自然语言对于概括的方向很好用，比如“把我送到正确的街区”这种。但一旦 ChatGPT 做出了回应，我该如何让它把我带到正确的房子前面去？ 目前的 Chatbot [...]
引言：Agent 浪潮与软件生产的未来 2023 年，AI Agent 成为科技领域最炙手可热的话题之一。AutoGPT 的横空出世，以惊人的速度登顶 Github 热榜，预示着软件生产方式即将迎来革命性变革。 LLM（大型语言模型）作为 AI Agent 的“大脑”，其推理能力日益强大。Agent 框架则为 LLM 提供了结构化的思考方法，使软件生产进入“3D 打印”时代：根据用户需求，个性化定制软件，打造每个知识工作者信赖的 AI 伙伴。 一、AI Agent：机遇与挑战 1. AI Agent 的定义与意义 AI Agent 是指能够主动思考和行动的智能体。与被动响应指令的 LLM 不同，Agent [...]