Author: C3P00

在强化学习中，AC类算法（Actor-Critic Algorithms）是非常重要的一类方法。这些算法结合了策略梯度（Policy Gradient）和价值函数（Value Function）方法的优点，通过一个“演员”（Actor）和一个“评论家”（Critic）来协同工作。

1. 基本概念

• Actor（演员）: Actor 负责选择动作。它使用策略函数 ( \pi_\theta(a|s) ) 来决定在状态 ( s ) 下选择动作 ( a ) 的概率。Actor 的目标是优化策略参数 ( \theta )，以最大化累积奖励。
• Critic（评论家）: Critic 负责评估 Actor 选择的动作的好坏。它使用一个价值函数 ( V_w(s) ) 或 ( Q_w(s, a) ) 来估计当前策略下的状态值或动作值。Critic 的目标是优化价值函数的参数 ( w )，以准确评估给定状态或状态-动作对的价值。

2. 经典的AC类算法

2.1 Advantage Actor-Critic (A2C)

A2C 是一种同步版本的 Actor-Critic 算法，其中多个并行的环境实例同时运行，并共享同一个 Actor 和 Critic。

• 策略更新（Actor）:
  [
  \theta \leftarrow \theta + \alpha \nabla_\theta \log \pi_\theta(a_t|s_t) A_t
  ]
  其中 ( A_t = Q(s_t, a_t) – V(s_t) ) 是优势函数（Advantage Function），表示动作 ( a_t ) 相对于状态 ( s_t ) 的优势。
• 价值函数更新（Critic）:
  [
  w \leftarrow w + \beta \nabla_w (r_t + \gamma V_w(s_{t+1}) – V_w(s_t))^2
  ]
  这是一个 TD（Temporal Difference）误差，用于更新状态值函数 ( V_w )。

2.2 Asynchronous Advantage Actor-Critic (A3C)

A3C 是 A2C 的异步版本，它允许多个异步的 Actor-Critic 线程在独立的环境实例中运行，并异步更新全局的 Actor 和 Critic 参数。这种异步更新可以显著提高训练速度和稳定性。

3. 现代的AC类算法

3.1 Proximal Policy Optimization (PPO)

PPO 是一种改进的策略梯度方法，旨在解决策略更新不稳定的问题。它通过限制每次策略更新的步长，保证策略的稳定性。

• 目标函数:
  [
  L^{CLIP}(\theta) = \mathbb{E}t \left[ \min \left( r_t(\theta) A_t, \text{clip}(r_t(\theta), 1 – \epsilon, 1 + \epsilon) A_t \right) \right] ] 其中 ( r_t(\theta) = \frac{\pi\theta(a_t|s_t)}{\pi_{\theta_{\text{old}}}(a_t|s_t)} ) 是策略概率比，( \text{clip} ) 操作限制策略比的变化范围。

3.2 Deep Deterministic Policy Gradient (DDPG)

DDPG 是一种适用于连续动作空间的 Actor-Critic 算法。它结合了 DQN（Deep Q-Network）和策略梯度方法。

• Actor 网络: 直接输出动作，更新时使用目标网络来稳定训练。
• Critic 网络: 估计状态-动作值 ( Q(s, a) )，也使用目标网络来稳定训练。

3.3 Soft Actor-Critic (SAC)

SAC 是一种基于最大熵强化学习的 Actor-Critic 算法，通过在目标函数中加入熵项，鼓励策略的探索性。

• 目标函数:
  [
  J(\pi) = \sum_{t=0}^{T} \mathbb{E}{(s_t, a_t) \sim \rho\pi} \left[ r(s_t, a_t) + \alpha \mathcal{H}(\pi(\cdot|s_t)) \right]
  ]
  其中 ( \mathcal{H}(\pi(\cdot|s_t)) ) 是策略的熵，( \alpha ) 是权重系数，控制探索与利用的平衡。

总结

AC类算法通过结合策略梯度和价值函数方法，提供了一种高效且稳定的策略优化方法。我们已经介绍了几种经典和现代的AC类算法，下面继续介绍一些现代方法，以及总结AC类算法的优势和应用场景。

其他现代AC类算法

3.4 Twin Delayed DDPG (TD3)

TD3 是 DDPG 的改进版本，旨在解决 DDPG 中的过估计问题。TD3 引入了以下几个关键技术：

• 双重 Q 网络: 使用两个 Critic 网络来估计 Q 值，取其较小值来避免过估计。
• 延迟策略更新: Actor 网络的更新频率低于 Critic 网络，以减少策略更新的波动。
• 目标策略扰动: 在计算目标 Q 值时，对 Actor 网络输出的动作添加噪声，以平滑目标值。

3.5 Trust Region Policy Optimization (TRPO)

TRPO 是一种优化策略梯度的算法，通过限制策略更新的幅度来保证训练稳定性。TRPO 使用 KL 散度来限制新旧策略之间的变化：

• 目标函数:
  [
  \max_\theta \mathbb{E}{s \sim \rho{\pi_{\text{old}}}, a \sim \pi_{\text{old}}} \left[ \frac{\pi_\theta(a|s)}{\pi_{\text{old}}(a|s)} A^{\pi_{\text{old}}}(s, a) \right]
  ]
  其中约束条件为：
  [
  \mathbb{E}{s \sim \rho{\pi_{\text{old}}}} \left[ D_{KL}(\pi_{\text{old}}(\cdot|s) | \pi_\theta(\cdot|s)) \right] \leq \delta
  ]
  其中 ( D_{KL} ) 是 KL 散度，( \delta ) 是一个小常数，控制策略更新的幅度。

AC类算法的优势

1. 结合策略和价值评估: AC类算法既包含策略（Actor）更新，也包含价值（Critic）评估。Critic 提供更稳定的梯度估计，从而使策略更新更加高效和稳定。
2. 适应性强: AC类算法能够适应不同的环境和任务，特别是连续动作空间中的任务。这使得它们在机器人控制、自动驾驶等复杂领域具有广泛应用。
3. 探索与利用平衡: 现代的 AC 类算法（如 SAC）通过引入熵项，平衡了策略的探索和利用能力，提高了训练效率和策略的鲁棒性。

AC类算法的应用场景

AC类算法在许多实际应用中表现出色，以下是一些典型的应用场景：

1. 机器人控制: 机器人需要在复杂的物理环境中做出连续的动作决策，AC类算法能够高效地处理这种连续动作空间的问题。
2. 自动驾驶: 自动驾驶系统需要在动态环境中实时决策，AC类算法能够帮助车辆在各种情况下做出合理的驾驶决策。
3. 游戏 AI: 在复杂的游戏环境中，AC类算法能够帮助 AI 角色学习最佳策略，提升游戏体验。
4. 金融交易: 在金融市场中，AC类算法可以用于优化交易策略，最大化投资回报。

总结

AC类算法通过结合策略梯度和价值函数方法，提供了一种高效且稳定的策略优化方法。无论是经典的 A2C 和 A3C，还是现代的 PPO、DDPG、SAC 和 TD3，它们都在各自的应用场景中展现了强大的性能和适应性。通过不断的发展和改进，AC类算法在强化学习领域中将继续发挥重要作用。

在强化学习（Reinforcement Learning, RL）中，策略函数和策略梯度是两个重要的概念。以下是对它们的详细解释：

策略函数（Policy Function）

策略函数描述了智能体（Agent）在给定状态下选择动作的行为方式。

• 确定性策略（Deterministic Policy）: 给定状态 ( s )，策略函数直接输出一个动作 ( a )。记作 ( \pi(s) = a )。
• 随机策略（Stochastic Policy）: 给定状态 ( s )，策略函数输出的是一个动作的概率分布。记作 ( \pi(a|s) )，表示在状态 ( s ) 下选择动作 ( a ) 的概率。

策略函数的目标是找到一种策略，使得智能体在环境中能够最大化其累积奖励。

策略梯度（Policy Gradient）

策略梯度是优化策略函数的一种方法，特别适用于参数化策略函数。策略梯度方法通过梯度上升（或下降）来直接调整策略的参数，以最大化（或最小化）目标函数（通常是期望累积奖励）。

具体来说，假设策略函数是参数化的，记作 ( \pi_\theta(a|s) )，其中 ( \theta ) 是参数向量。目标是最大化以下目标函数 ( J(\theta) )：

[ J(\theta) = \mathbb{E}{\tau \sim \pi\theta} [R(\tau)] ]

其中 ( \tau ) 表示一个从策略 ( \pi_\theta ) 中采样到的轨迹，( R(\tau) ) 表示该轨迹的累积奖励。

策略梯度定理

策略梯度定理提供了一个公式来计算目标函数 ( J(\theta) ) 相对于策略参数 ( \theta ) 的梯度：

[ \nabla_\theta J(\theta) = \mathbb{E}{\tau \sim \pi\theta} \left[ \sum_{t=0}^{T} \nabla_\theta \log \pi_\theta(a_t|s_t) R_t \right] ]

其中 ( R_t ) 是从时间步 ( t ) 开始的累计奖励。

基于策略梯度的方法

常见的基于策略梯度的方法包括：

• REINFORCE: 一种最基本的策略梯度方法，直接使用上面的公式进行更新。
• Actor-Critic 方法: 结合策略梯度和价值函数的方法。Actor 代表策略，Critic 代表价值函数，通过 Critic 来估计累积奖励，从而减少方差，提高学习效率。
• Proximal Policy Optimization (PPO): 一种改进的策略梯度方法，通过限制策略更新的幅度，来保证策略的稳定性。

总结

• 策略函数: 定义智能体在不同状态下选择动作的行为方式，可以是确定性的或随机的。
• 策略梯度: 一种优化策略函数的方法，通过梯度上升（或下降）来调整策略参数，以最大化（或最小化）期望累积奖励。

这两个概念是强化学习中的核心工具，用于设计和优化智能体的决策策略。

在强化学习中，符号 ( \mathbb{E}{\tau \sim \pi\theta} ) 表示从策略 ( \pi_\theta ) 中采样轨迹 ( \tau ) 的期望值。让我们详细解析这个符号及其背后的含义：

符号解释

• ( \mathbb{E} ): 这是期望值运算符，表示计算某个随机变量的期望（平均值）。
• ( \tau ): 这是一个轨迹（trajectory），也称为 episode。轨迹是智能体在环境中从开始状态到终止状态的一系列状态-动作-奖励序列，形式上可以表示为 ( \tau = (s_0, a_0, r_0, s_1, a_1, r_1, \ldots, s_T) )，其中 ( s_t ) 是时间步 ( t ) 的状态，( a_t ) 是时间步 ( t ) 的动作，( r_t ) 是时间步 ( t ) 的奖励，( T ) 是轨迹的终止时间步。
• ( \pi_\theta ): 这是参数化的策略函数，其中 ( \theta ) 是策略的参数向量。策略函数 ( \pi_\theta(a|s) ) 表示在状态 ( s ) 下选择动作 ( a ) 的概率。
• ( \tau \sim \pi_\theta ): 这表示轨迹 ( \tau ) 是根据策略 ( \pi_\theta ) 生成的。即，轨迹中的每一步动作 ( a_t ) 是按照策略 ( \pi_\theta ) 从对应的状态 ( s_t ) 中采样得到的。

具体含义

当我们写 ( \mathbb{E}{\tau \sim \pi\theta} [R(\tau)] )，这意味着我们在计算根据策略 ( \pi_\theta ) 生成的轨迹 ( \tau ) 的累积奖励 ( R(\tau) ) 的期望值。累积奖励 ( R(\tau) ) 通常表示为轨迹中所有时间步的奖励总和：

[ R(\tau) = \sum_{t=0}^{T} r_t ]

因此，( \mathbb{E}{\tau \sim \pi\theta} [R(\tau)] ) 表示在策略 ( \pi_\theta ) 下，所有可能轨迹的累积奖励的平均值。

策略梯度中的应用

在策略梯度方法中，我们的目标是最大化期望累积奖励 ( J(\theta) )，即：

[ J(\theta) = \mathbb{E}{\tau \sim \pi\theta} [R(\tau)] ]

通过策略梯度定理，我们可以计算 ( J(\theta) ) 相对于策略参数 ( \theta ) 的梯度：

[ \nabla_\theta J(\theta) = \mathbb{E}{\tau \sim \pi\theta} \left[ \sum_{t=0}^{T} \nabla_\theta \log \pi_\theta(a_t|s_t) R_t \right] ]

这表示我们通过采样轨迹，计算每一步的梯度，并乘以对应的累积奖励，然后对这些结果求平均，以得到策略参数的更新方向。

总结

符号 ( \mathbb{E}{\tau \sim \pi\theta} ) 表示从策略 ( \pi_\theta ) 中采样轨迹 ( \tau ) 的期望值。这在强化学习中用于表示在特定策略下，某个轨迹相关量（如累积奖励）的平均值，是策略优化和策略梯度方法的重要组成部分。

在PPO（Proximal Policy Optimization）算法中，优势函数的估计通常采用Generalized Advantage Estimation（GAE）方法，以提高估计的准确性和训练的稳定性。GAE通过结合多个时间步的奖励信息来平滑优势函数的估计，减少方差，同时保持较低的偏差。以下是GAE的基本原理和在PPO中的应用：

GAE（Generalized Advantage Estimation）原理

1. 定义：GAE通过线性组合多个时间步的TD误差（Temporal Difference Error）来估计优势函数，公式如下： 𝐴𝜆(𝑠𝑡,𝑎𝑡)=∑𝑘=0∞(𝛾𝜆)𝑘𝛿𝑡+𝑘+1𝑉 其中，𝛿𝑡+𝑘+1𝑉=𝑟𝑡+𝑘+1+𝛾𝑉(𝑠𝑡+𝑘+1)−𝑉(𝑠𝑡) 是从时间步 𝑡+𝑘+1 到 𝑡 的TD误差，𝛾 是奖励的折扣因子，𝜆 是介于0和1之间的平滑参数，用来平衡偏差和方差。
2. 优势函数的近似：在实际应用中，GAE通常使用有限的轨迹长度来近似上述无限序列，通过将轨迹上的连续奖励和价值函数估计结合，得到一个近似的优势估计。
3. 在PPO中的应用：PPO结合GAE来估计优势函数，具体步骤包括：
   • 收集数据：通过当前策略在环境中执行，收集一系列的状态、动作、奖励等数据。
   • 计算TD误差：对于每个时间步，计算与价值函数相关的TD误差。
   • 应用GAE：使用GAE公式，结合轨迹上的奖励和预先估计的状态价值（或动作价值），计算每个时间步的优势函数估计。
   • 策略优化：在PPO的目标函数中，使用这些优势函数估计来加权策略更新，确保更新集中在那些对性能提升有显著贡献的动作上。

PPO中的具体实现

PPO的目标函数通常包含一个clip函数来限制策略更新的步长，形式如下： 𝐿𝐶𝐿𝐼𝑃(𝜃)=𝐸𝑠,𝑎,𝑟[min(𝜋𝜃(𝑎|𝑠)𝜋𝜃𝑜𝑙𝑑(𝑎|𝑠)𝐴𝜆(𝑠,𝑎),clip(𝜋𝜃(𝑎|𝑠)𝜋𝜃𝑜𝑙𝑑(𝑎|𝑠),1−𝜖,1+𝜖)𝐴𝜆(𝑠,𝑎))] 其中，𝜋𝜃𝑜𝑙𝑑 是旧策略，𝜋𝜃 是新策略，𝜖 是clip函数的参数，用于防止策略更新时发生大幅度偏离。

通过这种方式，PPO利用GAE来更精确地估计优势函数，从而在策略更新过程中保持策略的连续性和性能的稳定提升。

在中文开源TTS项目中，ChatTTS是一个备受关注的项目。它由2noise团队开发，专为对话场景设计，经过超过10万小时的中英文训练，提供自然流畅的语音合成效果。ChatTTS在多说话人支持、对话场景应用、以及细粒度的韵律控制方面表现出色，能够预测和控制笑声、停顿和插入词等，使得合成的语音更加接近真实人类的对话。此外，它支持英文和中文，且在开源社区中因其高度逼真的人类情感模仿能力而受到好评。尽管使用时可能需要一定的硬件支持（至少4GB显存的GPU），但它的开源性质和强大的功能使其成为当前中文开源TTS领域的一个亮点。

另一个值得注意的项目是VALL-E-X，它在2023年发布，能够实现跨语种的音频克隆，仅需少量样本就能生成高质量的语音克隆，尽管它可能在中文发音的地道性上有所不足，但其在声音克隆方面的创新技术也是值得关注的。

其他如Mozilla TTS和OpenTTS也是成熟的开源项目，它们支持多种语言，易于训练和使用，适合不同的应用场景，但可能在语音自然度和对话场景的适应性上不如ChatTTS。

如果您追求高质量的对话式语音合成，尤其是需要情感和细节控制的场景，ChatTTS是目前一个非常优秀的选择。不过，选择最合适的开源TTS项目还需根据具体需求，比如是否需要高度定制、资源消耗、以及是否易于部署等因素来决定。

知乎直答上线，作为一款基于大模型的AI搜索产品，对普通用户以及整个知乎社区都可能产生一系列积极的影响和潜在的变化：

1. 提升信息获取效率：用户能够更快地找到历史问答内容，这意味着用户在寻求知识或解答时的等待时间缩短，信息的获取效率显著提升。无论是专业问题还是日常疑惑，都能通过“简略”或“深入”两种答案模式得到满足，使得知乎成为更加高效的知识获取平台。1
2. 增强社区互动：通过支持“找内容”和“找人”，用户不仅能快速定位到所需信息，还能更容易地发现和关注到具有专业知识的创作者，促进用户与创作者之间的互动，增强社区的粘性和活跃度。
3. 内容流通加速：知乎直答通过优化搜索体验，使得优质内容更容易被发现和传播，有助于内容创作者的曝光，激励更多高质量内容的产生，形成内容创造与消费的良性循环。139
4. 提升用户体验：独立域名和服务入口的设立，以及对PC端的优化，为用户提供了更加便捷的访问方式，提升了用户体验。未来随着App开发和多模态能力的引入，用户体验将进一步提升，满足更多样化的搜索需求。
5. 知识普及与教育：知乎直答的智能化搜索，使得专业知识的普及更为广泛，尤其是对于年轻用户和求知欲强的群体，它能成为学习和自我提升的重要工具，促进知识的民主化和普及化。139
6. 社区生态的丰富：随着知乎直答的推广和使用，社区内的内容结构和用户行为模式可能会发生变化，促进更多元化和高质量的讨论，构建一个更加生机勃勃、充满创造力的社区环境。9
7. 对外合作与扩展：知乎直答的推出，预示着知乎在AI领域的探索不仅限于内部应用，未来可能与其他平台或服务进行合作，拓展其服务范围，增强知乎的品牌影响力。3
8. 挑战与机遇并存：虽然提高了效率和体验，但同时也对知乎的算法准确性和内容质量提出了更高要求，需要持续优化以应对可能的信息过载、误判或滥用问题。

综上所述，知乎直答的上线不仅提升了用户对历史问答的访问能力，还可能深刻改变知乎社区的互动模式、内容生态和用户习惯，为知乎的未来发展开辟新的路径。

Spark MLlib 提供了一种协同过滤算法，可用于训练矩阵分解模型，该模型预测用户对物品的显式或隐式评分，从而进行推荐。本文将深入探讨 Spark 的协同过滤算法。

1 矩阵分解算法

1.1 协同过滤问题的矩阵分解

矩阵分解是推荐任务中常用的一种技术。基本上，矩阵分解算法试图找到表示用户和物品内在属性的潜在因子，即：

$$\hat r_{u,i} = q_{i}^{T}p_{u}$$

其中，$\hat r_{u,i}$ 是用户 $u$ 对物品 $i$ 的预测评分，$q_{i}^{T}$ 和 $p_{u}$ 分别是物品和用户的潜在因子。矩阵分解问题的挑战在于找到 $q_{i}^{T}$ 和 $p_{u}$，这可以通过矩阵分解方法实现。为了尽量接近观察到的评分，开发了一种学习方法。此外，为了避免过拟合问题，学习过程被正则化。例如，基本形式的矩阵分解算法表示如下：

$$\min \sum (r_{u,i} – q_{i}^{T}p_{u})^2 + \lambda (||q_{i}||^2 + ||p_{u}||^2)$$

其中，$\lambda$ 是正则化参数。

在没有显式评分的情况下，可以使用用户与物品的历史交互（如点击、浏览、购买等）来推断隐式评分。为了考虑这些隐式评分，原始矩阵分解算法可以表示为：

$$\min \sum c_{u,i}(p_{u,i} – q_{i}^{T}p_{u})^2 + \lambda (||q_{i}||^2 + ||p_{u}||^2)$$

其中，$c_{u,i}=1+\alpha r_{u,i}$，如果 $r_{u,i}>0$ 则 $p_{u,i}=1$，否则 $p_{u,i}=0$。$r_{u,i}$ 是用户偏好的数值表示（例如点击次数等）。

1.2 交替最小二乘法（ALS）

由于 $q_{i}^{T}p_{u}$ 项的存在，损失函数是非凸的。可以应用梯度下降法，但这将导致昂贵的计算成本。为此，开发了一种交替最小二乘法（ALS）算法来解决这个问题。

ALS 的基本思想是每次学习 $q$ 和 $p$ 中的一个进行优化，而将另一个保持不变。这使得每次迭代的目标函数都是凸的且可解的。当交替迭代收敛到最优解时，过程停止。值得注意的是，这种迭代计算可以并行化和/或分布式处理，这使得该算法在数据集很大且用户-物品评分矩阵非常稀疏的推荐场景中非常理想。关于 ALS 及其分布式计算的全面讨论，请参见这里。

2 Spark Mllib 实现

矩阵分解算法在 Spark ml DataFrame 和 Spark mllib RDD 中均可用作为 ALS 模块提供。

• ALS 实现的独特之处在于它使用“交替最小二乘法”来分布式地训练矩阵分解模型。
• 在训练方法中，可以选择一些参数来控制模型性能。
• Spark ALS 模型支持显式和隐式评分。

3 基于 Spark ALS 的 MovieLens 推荐系统

以下代码使用 MovieLens-100K 数据集来演示 Spark 中的 ALS 算法。

注意：此笔记本需要一个 PySpark 环境才能正常运行。请按照 SETUP.md 中的步骤安装 PySpark 环境。

import warnings
warnings.simplefilter(action='ignore', category=FutureWarning)

import sys
from matplotlib import pyplot as plt
import numpy as np
import pandas as pd
import seaborn as sns

import pyspark
from pyspark.sql import SparkSession
from pyspark.ml.recommendation import ALS
import pyspark.sql.functions as F
from pyspark.sql.functions import col
from pyspark.ml.tuning import CrossValidator
from pyspark.sql.types import StructType, StructField
from pyspark.sql.types import FloatType, IntegerType, LongType

from recommenders.datasets import movielens
from recommenders.utils.spark_utils import start_or_get_spark
from recommenders.evaluation.spark_evaluation import SparkRankingEvaluation, SparkRatingEvaluation
from recommenders.tuning.parameter_sweep import generate_param_grid
from recommenders.datasets.spark_splitters import spark_random_split

print(f"System version: {sys.version}")
print(f"Pandas version: {pd.__version__}")
print(f"PySpark version: {pyspark.__version__}")

3.1 加载和准备数据

数据从 CSV 文件读取到 Spark DataFrame 中。

MOVIELENS_DATA_SIZE = "100k"

COL_USER = "UserId"
COL_ITEM = "MovieId"
COL_RATING = "Rating"
COL_PREDICTION = "prediction"
COL_TIMESTAMP = "Timestamp"

schema = StructType(
    (
        StructField(COL_USER, IntegerType()),
        StructField(COL_ITEM, IntegerType()),
        StructField(COL_RATING, FloatType()),
        StructField(COL_TIMESTAMP, LongType()),
    )
)

dfs = movielens.load_spark_df(spark=spark, size=MOVIELENS_DATA_SIZE, schema=schema)
dfs.show(5)

数据按 80-20 比例随机分为训练集和测试集。

dfs_train, dfs_test = spark_random_split(dfs, ratio=0.75, seed=42)

3.2 训练 MovieLens 模型

值得注意的是，Spark ALS 模型允许删除冷用户，以便对测试数据进行稳健评估。如果存在冷用户，Spark ALS 实现允许用户删除冷用户，以确保对预测结果的评估是合理的。

RANK = 10
MAX_ITER = 15
REG_PARAM = 0.05

als = ALS(
    maxIter=MAX_ITER,
    rank=RANK,
    regParam=REG_PARAM,
    userCol=COL_USER,
    itemCol=COL_ITEM,
    ratingCol=COL_RATING,
    coldStartStrategy="drop"
)

model = als.fit(dfs_train)

3.3 使用模型进行预测

训练好的模型可以用来预测给定测试数据的评分。

dfs_pred = model.transform(dfs_test).drop(COL_RATING)

使用预测结果，可以评估模型性能。

evaluations = SparkRatingEvaluation(
    dfs_test,
    dfs_pred,
    col_user=COL_USER,
    col_item=COL_ITEM,
    col_rating=COL_RATING,
    col_prediction=COL_PREDICTION
)

print(
    "RMSE score = {}".format(evaluations.rmse()),
    "MAE score = {}".format(evaluations.mae()),
    "R2 score = {}".format(evaluations.rsquared()),
    "Explained variance score = {}".format(evaluations.exp_var()),
    sep="\n"
)

通常，数据科学家对排名指标也感兴趣。通常，排名指标适用于推荐一组物品的场景。在我们的例子中，推荐的物品应该与用户已经评分的物品不同。

users = dfs_train.select(COL_USER).distinct()
items = dfs_train.select(COL_ITEM).distinct()
user_item = users.crossJoin(items)
dfs_pred = model.transform(user_item)

dfs_pred_exclude_train = dfs_pred.alias("pred").join(
    dfs_train.alias("train"),
    (dfs_pred[COL_USER] == dfs_train[COL_USER]) & (dfs_pred[COL_ITEM] == dfs_train[COL_ITEM]),
    how='outer'
)

dfs_pred_final = dfs_pred_exclude_train.filter(dfs_pred_exclude_train["train.Rating"].isNull()) \
    .select('pred.' + COL_USER, 'pred.' + COL_ITEM, 'pred.' + "prediction")

evaluations = SparkRankingEvaluation(
    dfs_test,
    dfs_pred_final,
    col_user=COL_USER,
    col_item=COL_ITEM,
    col_rating=COL_RATING,
    col_prediction=COL_PREDICTION,
    k=K
)

print(
    "Precision@k = {}".format(evaluations.precision_at_k()),
    "Recall@k = {}".format(evaluations.recall_at_k()),
    "NDCG@k = {}".format(evaluations.ndcg_at_k()),
    "Mean average precision = {}".format(evaluations.map_at_k()),
    sep="\n"
)

3.4 微调模型

Spark ALS 模型的预测性能通常受参数影响。

通常的做法是从默认参数值开始构建模型，然后在一定范围内调整参数，以找到最佳参数组合。以下参数集用于训练 ALS 模型进行比较研究。

param_dict = {
    "rank": [10, 15, 20],
    "regParam": [0.001, 0.1, 1.0]
}

param_grid = generate_param_grid(param_dict)
rmse_score = []

for g in param_grid:
    als = ALS(
        userCol=COL_USER,
        itemCol=COL_ITEM,
        ratingCol=COL_RATING,
        coldStartStrategy="drop",
        **g
    )
    model = als.fit(dfs_train)
    dfs_pred = model.transform(dfs_test).drop(COL_RATING)
    evaluations = SparkRatingEvaluation(
        dfs_test,
        dfs_pred,
        col_user=COL_USER,
        col_item=COL_ITEM,
        col_rating=COL_RATING,
        col_prediction=COL_PREDICTION
    )
    rmse_score.append(evaluations.rmse())

rmse_score = [float('%.4f' % x) for x in rmse_score]
rmse_score_array = np.reshape(rmse_score, (len(param_dict["rank"]), len(param_dict["regParam"])))

rmse_df = pd.DataFrame(data=rmse_score_array, index=pd.Index(param_dict["rank"], name="rank"),
                       columns=pd.Index(param_dict["regParam"], name="reg. parameter"))

fig, ax = plt.subplots()
sns.heatmap(rmse_df, cbar=False, annot=True, fmt=".4g")

从这个可视化中可以看出，随着潜在因子数量的增加，RMSE 先减少后增加，这是由于过拟合。当潜在因子数量为 20，正则化参数为 0.1 时，模型达到了最低的 RMSE 分数。

3.5 Top K 推荐

3.5.1 为所有用户（物品）生成前 K 个推荐

dfs_rec = model.recommendForAllUsers(10)
dfs_rec.show(10)

3.5.2 为选定的用户（物品）生成前 K 个推荐

users = dfs_train.select(als.getUserCol()).distinct().limit(3)
dfs_rec_subset = model.recommendForUserSubset(users, 10)
dfs_rec_subset.show(10)

3.5.3 Top-K 推荐的运行时考虑

值得注意的是，通常对所有用户进行 Top-K 推荐计算是整个管道（模型训练和评分）的瓶颈。这是因为：

• 从所有用户-物品对中获取 Top-K 需要交叉连接，这通常计算量很大。
• 用户-物品对的内积是逐个计算的，而不是利用某些现代计算加速库（如 BLAS）中可用的矩阵块乘法特性。

关于 Spark 中 Top-K 推荐的可能优化的更多详细信息，请参见这里。

# cleanup spark instance
spark.stop()

参考文献

1. Yehuda Koren, Robert Bell, and Chris Volinsky, “Matrix Factorization Techniques for Recommender Systems”, ACM Computer, Vol. 42, Issue 8, pp 30-37, Aug., 2009.
2. Yifan Hu, Yehuda Koren, and Chris Volinsky, “Collaborative Filtering for Implicit Feedback Datasets”, Proc. IEEE ICDM, 2008, Dec, Pisa, Italy.
3. Apache Spark. url: https://spark.apache.org/docs/latest/ml-collaborative-filtering.html
4. Seaborn. url: https://seaborn.pydata.org/
5. Scaling collaborative filtering with PySpark. url: https://engineeringblog.yelp.com/2018/05/scaling-collaborative-filtering-with-pyspark.html
6. Matrix Completion via Alternating Least Square (ALS). url: http://stanford.edu/~rezab/classes/cme323/S15/notes/lec14.pdf

在这个信息爆炸的时代,推荐系统在我们的日常生活中扮演着越来越重要的角色。无论是新闻推送、电商购物还是短视频推荐,都离不开推荐系统的支持。然而,传统的推荐算法往往无法很好地区分用户的长期兴趣和短期兴趣,这严重影响了推荐的准确性。最近,清华大学和快手科技的研究人员提出了一种新的方法,通过对比学习框架实现长短期兴趣的分离,大大提升了推荐效果。让我们一起来看看这项突破性的研究。

长短期兴趣:用户偏好的两个维度

在推荐系统中,准确把握用户兴趣至关重要。但用户的兴趣是复杂多变的,通常可以分为两个方面:

• 长期兴趣:反映用户相对稳定的偏好,可能会持续较长时间。例如,一个用户长期以来都喜欢浏览电子产品。
• 短期兴趣:体现用户近期的动态偏好,变化较快。比如用户最近突然对服装产生了兴趣。

准确区分和建模这两种兴趣,对提高推荐效果至关重要。然而,现有的方法往往将长短期兴趣混杂在一起建模,难以真正分离开来。这不仅影响了推荐的准确性,也使得推荐结果难以解释。

现有方法的局限性

目前主流的推荐算法大致可以分为以下几类:

1. 基于协同过滤的方法:主要捕捉用户的长期兴趣,但忽视了序列特征,难以建模动态的短期兴趣。
2. 序列模型:利用CNN或RNN等网络学习序列特征,但往往只关注短期记忆,容易忽视长期兴趣。
3. 混合方法:结合协同过滤和序列模型,试图同时捕捉长短期兴趣。但由于缺乏显式的监督,学到的长短期兴趣表示往往还是纠缠在一起的。

这些方法的共同问题在于:没有针对长短期兴趣设计独立的建模机制,也没有专门的监督信号来指导长短期兴趣的分离。这就导致了学到的兴趣表示难以真正区分长短期特征。

CLSR:基于对比学习的长短期兴趣分离框架

为了解决上述问题,研究人员提出了一种新的对比学习框架CLSR(Contrastive Learning for Short and Long-term interests in Recommendation)。该框架的核心思想是:通过自监督的方式,利用用户的交互序列构建长短期兴趣的代理表示,并通过对比学习实现长短期兴趣的有效分离。具体来说,CLSR包含以下几个关键组件:

1. 独立的长短期兴趣编码器

CLSR设计了两个独立的编码器,分别用于捕捉长期兴趣和短期兴趣:

• 长期兴趣编码器:采用注意力池化机制,从用户的全部历史交互中提取长期兴趣表示。
• 短期兴趣编码器:基于RNN和注意力机制,从用户最近的交互序列中捕捉动态变化的短期兴趣。

这种设计使得长短期兴趣可以被独立地建模,为后续的分离奠定了基础。

2. 基于交互序列的自监督

CLSR的一大创新在于,它利用用户的交互序列自动构建长短期兴趣的代理表示,作为自监督的信号。具体而言:

• 长期兴趣代理:用户全部历史交互的平均表示
• 短期兴趣代理:用户最近k个交互的平均表示

这些代理表示虽然简单,但能很好地反映长短期兴趣的特征,为后续的对比学习提供了有效的监督信号。

3. 对比学习任务

有了代理表示作为”伪标签”,CLSR设计了成对的对比学习任务:

• 使长期兴趣编码器的输出与长期兴趣代理更相似
• 使短期兴趣编码器的输出与短期兴趣代理更相似

这种对比学习机制能有效地引导模型学习到更好地分离的长短期兴趣表示。

4. 自适应融合网络

为了在最终预测时合理利用长短期兴趣,CLSR设计了一个基于注意力的融合网络。该网络能根据目标物品和用户历史,自适应地调整长短期兴趣的重要性,从而做出更准确的预测。

实验结果:显著提升推荐效果

研究人员在电商和短视频推荐两个大规模真实数据集上进行了实验。结果表明,CLSR在各项指标上都显著优于现有的最先进方法:

• AUC和GAUC提升超过0.02
• NDCG提升超过10.7%

这样的提升幅度在推荐系统领域是非常可观的。

更重要的是,研究人员还通过反事实分析验证了CLSR在长短期兴趣分离方面的效果。他们人为地干预用户的历史交互序列,阻断长期或短期兴趣的信息。结果显示,CLSR能够稳定地实现更强的长短期兴趣分离,远超现有方法。

总结与展望

CLSR框架巧妙地利用对比学习和自监督,解决了长短期兴趣分离这一关键问题。它不仅显著提升了推荐效果,还为推荐系统的可解释性和可控性开辟了新的方向。

未来的研究可以在以下几个方面进一步拓展:

1. 设计更复杂的长短期兴趣代理表示,进一步提升自监督效果
2. 将CLSR框架应用到更多推荐场景,如新闻、音乐等领域
3. 探索如何利用分离的长短期兴趣实现更精细的推荐控制和解释

总的来说,CLSR为推荐系统的发展提供了一个全新的范式,相信会激发出更多创新性的工作。

参考文献

https://arxiv.org/pdf/2202.13090.pdf