量化交易中的强化学习

强化学习

与分类和回归等监督学习任务不同，另一种重要的机器学习范式是强化学习（Reinforcement Learning，简称 RL），它旨在通过直接与环境交互，并在马尔可夫决策过程 (MDP) 等假设下，优化累积的数值奖励信号。

如下图所示，一个强化学习系统由四个要素组成：1) 智能体 (agent)，2) 智能体与之交互的环境 (environment)，3) 智能体遵循以对环境采取行动的策略 (policy)，以及 4) 来自环境反馈给智能体的奖励信号 (reward signal)。通常，智能体可以感知和解释其环境，通过奖励采取行动和学习，以寻求长期和最大的整体奖励来达到最优解。

强化学习试图通过试错来学习如何产生行动。通过采样行动，然后观察哪个行动能达到我们想要的结果，从而获得一个策略来生成最优行动。与监督学习不同，强化学习不是从标签中学习，而是从一种称为奖励的延迟标签中学习。这个标量值让我们知道当前的结果是好是坏。总之，强化学习的目标是采取行动以最大化奖励。

Qlib 强化学习工具包（QlibRL）是一个用于量化投资的强化学习平台，为在 Qlib 中实现强化学习算法提供支持。

量化交易中的潜在应用场景

强化学习方法在各种应用中取得了显著成就，包括游戏、资源分配、推荐系统、营销和广告。在涉及持续决策的投资领域，以股票市场为例，投资者通过各种买卖行为有效地管理其头寸和股票持有，以优化其投资回报。此外，投资者在做出每一个买卖决策之前，都会仔细评估市场状况和特定股票的信息。从投资者的角度来看，这个过程可以被视为一个由与市场互动驱动的持续决策过程。强化学习算法为解决此类挑战提供了一种有前景的方法。以下是强化学习在量化投资中具有应用潜力的几个场景。

订单执行

订单执行任务是在考虑多个因素（包括最优价格、最小化交易成本、减少市场影响、最大化订单成交率和在指定时间框架内完成执行）的情况下，高效地执行订单。强化学习可以通过将这些目标融入奖励函数和行动选择过程来应用于此类任务。具体来说，强化学习智能体与市场环境交互，从市场信息中观察状态，并对下一步执行做出决策。强化学习算法通过试错学习一个最优执行策略，旨在最大化预期的累积奖励，其中包含了所需的目标。

通用设置

  • 环境 (Environment)：环境代表发生订单执行的金融市场。它包括订单簿动态、流动性、价格变动和市场状况等变量。

  • 状态 (State)：状态是指强化学习智能体在给定时间步可用的信息。它通常包括诸如当前订单簿状态（买卖价差、订单深度）、历史价格数据、历史交易量、市场波动性以及任何其他有助于决策的相关信息等特征。

  • 行动 (Action)：行动是强化学习智能体根据观察到的状态做出的决策。在订单执行中，行动可以包括选择订单规模、价格和执行时间。

  • 奖励 (Reward)：奖励是一个标量信号，表示强化学习智能体在环境中行动的表现。奖励函数旨在鼓励导致高效且经济的订单执行的行动。它通常会考虑多个目标，例如最大化价格优势、最小化交易成本（包括交易费用和滑点）、减少市场影响（订单对市场价格的影响）和最大化订单成交率。

场景

  • 单资产订单执行：单资产订单执行侧重于执行特定资产（例如股票或加密货币）的单个订单。主要目标是在考虑最大化价格优势、最小化交易成本、减少市场影响和实现高成交率等因素的情况下高效地执行订单。强化学习智能体与市场环境交互，并就该特定资产的订单规模、价格和执行时间做出决策。目标是学习一个针对该单资产的最优执行策略，在考虑该资产的特定动态和特征的同时，最大化预期的累积奖励。

  • 多资产订单执行：多资产订单执行将订单执行任务扩展到涉及多个资产或证券。它通常涉及同时或按顺序执行跨不同资产的投资组合订单。与单资产订单执行不同，重点不仅在于执行单个订单，还在于管理投资组合中不同资产之间的互动和依赖关系。强化学习智能体需要为投资组合中的每项资产就订单规模、价格和时间做出决策，同时考虑它们的相互依赖性、现金约束、市场状况和交易成本。目标是学习一个最优执行策略，该策略既能平衡每项资产的执行效率，又能考虑整个投资组合的整体表现和目标。

设置和强化学习算法的选择取决于任务的具体要求、可用数据和期望的性能目标。

投资组合构建

投资组合构建是选择和分配投资组合中资产的过程。强化学习提供了一个框架，通过从与市场环境的互动中学习并最大化长期回报，同时考虑风险管理，来优化投资组合管理决策。

通用设置

  • 状态 (State)：状态代表有关市场和投资组合的当前信息。它通常包括历史价格和交易量、技术指标以及其他相关数据。

  • 行动 (Action)：行动对应于在投资组合中将资本分配给不同资产的决策。它决定了每项资产的投资权重或比例。

  • 奖励 (Reward)：奖励是一个评估投资组合表现的指标。它可以以各种方式定义，例如总回报、风险调整回报，或其他目标，如最大化夏普比率或最小化回撤。

场景

  • 股票市场：强化学习可用于构建股票投资组合，其中智能体学习在不同股票之间分配资本。

  • 加密货币市场：强化学习可用于构建加密货币投资组合，其中智能体学习做出分配决策。

  • 外汇 (Forex) 市场：强化学习可用于构建货币对投资组合，其中智能体学习根据汇率数据、经济指标和其他因素在不同货币之间分配资本。

同样，基本设置和算法的选择取决于问题的具体要求和市场的特征。

Last modified: Monday, 4 August 2025, 12:11 PM