Day: May 27, 2024

作者：Dean Wyatte, Fatemeh Tahmasbi, Ming Li, Thomas Markovich 大型语言模型（Large Language Models，LLMs）在生成多样化查询的合理答案方面表现出色，代表了机器学习模型的一次重大飞跃。然而，这些模型在客户支持应用中也面临着一系列挑战，例如容易产生幻觉（hallucination）和数据泄露风险。本文将探讨如何通过将语言建模任务重新定义为判别性分类任务，来利用LLMs增强客户支持服务。 问题背景与研究目标 尽管LLMs在生成多样化查询的合理答案方面表现出色，但它们的短期应用在客户支持中面临挑战。幻觉答案和数据泄露风险使得它们的直接应用受到限制。为了解决这些问题，本文提出了一种系统，将语言建模任务重新定义为判别性分类任务，帮助客服代表选择最佳的模板回复。 方法论：两阶段训练流程 为了有效利用LLMs来增强客户支持服务，本文提出了一个两阶段训练流程： 领域适应性预训练（Domain Adaptive Pre-training） 首先，使用预训练的LLM，并在目标领域的数据上继续预训练。本文使用了Cash App客户支持记录的数据进行预训练，这有助于模型学习特定领域的语言和上下文。 判别性微调（Discriminative Fine-tuning） 在领域适应的基础上，添加一个新的线性层，并在标记了客服代表模板回复选择的较小数据集上进行端到端的微调，以产生最终的分类器。 数据集准备与模型选择 数据集准备 本文使用Cash App客户支持记录构建数据集，并进行了处理以去除个人识别信息（PII），确保数据安全和隐私。 模型选择 选用了基于GPTNeoX架构的Pythia系列LLMs，这些模型在预训练阶段已经学习了大量的通用网络数据。 实验设计与结果 [...]

引言 前几天，我看了几篇介绍SSM（State Space Model）的文章，才发现自己从未认真了解过SSM，于是决定深入学习相关内容，并记录下我的学习所得。SSM的概念由来已久，但我们这里特指的是深度学习中的SSM。一般认为它的开篇之作是2021年的S4，而SSM最新的变体大概是去年的Mamba。 SSM的背景与发展 SSM在深度学习中的应用起源于S4，但在S4之前有一篇重要的奠基之作《HiPPO: Recurrent Memory with Optimal Polynomial Projections》（简称HiPPO）。本文将从HiPPO开始，深入探讨其基本形式、数学推导及其在SSM中的应用。 基本形式 对于已经对SSM有所了解的读者，可能知道SSM建模所用的是线性ODE系统：[\begin{aligned}x'(t) =&\, A x(t) + B u(t) \y(t) =&\, C x(t) + D u(t)\end{aligned}]其中 (u(t) \in \mathbb{R}^{d_i}, [...]