最近，机器学习界出现了一项令人震惊的研究成果：仅仅对 GPT-3 说一句 「让我们一步一步地思考」，就能让它解开之前无法解答的难题，准确率瞬间提高 61%！这感觉就像幼儿园阿姨哄小朋友一样神奇，难道哄 AI 也要像哄小孩？
「一步一步思考」：神奇咒语背后的秘密
这项由谷歌大脑和东京大学合作的研究发现，简单的提示词可以显著提高 GPT-3 在零样本学习场景下的推理能力。研究人员将这种方法称为 「思维链路提示」（CoT），其核心是通过引导语言模型逐步思考，最终得出正确答案。例如，面对 「16 个球中有一半是高尔夫球，这些高尔夫球中有一半是蓝色的，一共有几个蓝色的高尔夫球？」 这个问题，直接询问 GPT-3 会得到错误答案 「8」 。但如果在提问时加上 「让我们一步一步地思考」，GPT-3 就会先列出解题步骤，最终给出正确答案 「4」 。
CoT 并非万能药：效果受模型版本、问题类型影响
研究人员对 CoT 的效果进行了广泛的测试，结果表明，CoT 在大多数情况下都能显著提高 GPT-3 的准确率，尤其是在数学和常识推理方面。然而，CoT 并非万能药，其效果会受到 GPT-3 版本、问题类型等因素的影响。例如，CoT 对 GPT-3 最新版本 Text-davinci-002 的效果最佳，对旧版本的提升效果则相对有限。
从 「特征工程」 到 「提示工程」：AI 研究的新方向？
CoT 的成功引发了人们对 「提示工程」 的关注。一些学者认为，「提示工程」 正在取代传统的 「特征工程」，成为 AI 研究的新方向。通过设计巧妙的提示词，可以引导 AI 更好地理解人类意图，从而提高其性能。未来，"提示词猎人"会不会成为 NLP 研究者的新头衔？
结语：哄 AI，更需理解 AI
尽管 「哄 AI 像哄小孩」 的说法很有趣，但我们不能忽视对 AI 本身的理解。 CoT 的成功表明，通过引导 AI 模拟人类的思维方式，可以有效提高其推理能力。未来，如何设计更有效的提示词，如何将 CoT 应用于更广泛的领域，将是 AI 研究的重要课题。
参考文献：
- Wei, Jason, et al. "Chain of thought prompting elicits reasoning in large language models." arXiv preprint arXiv:2205.11916 (2022).