Qlib-巨人級的AI量化投資平台

指南

QlibRL 旨在帮助用户快速上手并便捷地实现基于强化学习 (RL) 算法的量化策略。针对不同类型的用户，我们推荐以下使用 QlibRL 的指南。

强化学习算法初学者

如果你是想了解强化学习在交易中作用的量化研究员，或者想在交易场景中学习强化学习算法的初学者，并且你对强化学习的知识有限，希望快速上手，屏蔽各种详细设置，我们建议你按照以下顺序学习 QlibRL：

1. 在 part1 学习强化学习的基础知识。

2. 在 part2 了解强化学习方法可以应用的交易场景。

3. 在 part3 运行示例，使用强化学习解决交易问题。

4. 如果你想进一步探索 QlibRL 并进行一些自定义，你需要首先在 part4 了解 QlibRL 的框架，并根据你的需求重写特定组件。

强化学习算法研究员

如果你已经熟悉现有的强化学习算法，并致力于研究强化学习算法，但缺乏金融领域的专业知识，想在金融交易场景中验证你的算法的有效性，我们建议你按照以下步骤上手 QlibRL：

1. 在 part2 了解强化学习方法可以应用的交易场景。

2. 选择一个强化学习应用场景（目前 QlibRL 已实现两个场景示例：订单执行和算法交易）。在 part3 运行示例使其正常工作。

3. 修改 policy 部分以融入你自己的强化学习算法。

量化研究员

如果你具备一定的金融领域知识和编码技能，并希望探索强化学习算法在投资领域的应用，我们建议你按照以下步骤探索 QlibRL：

1. 在 part1 学习强化学习的基础知识。

2. 在 part2 了解强化学习方法可以应用的交易场景。

3. 在 part3 运行示例，使用强化学习解决交易问题。

4. 在 part4 了解 QlibRL 的框架。

5. 根据你要解决的问题的特点，选择一个合适的强化学习算法（目前 QlibRL 支持基于 tianshou 的 PPO 和 DQN 算法）。

6. 根据市场交易规则和你想要解决的问题，设计马尔可夫决策过程 (MDP)。参考订单执行中的示例，并对以下模块进行相应的修改：State、Metrics、ActionInterpreter、StateInterpreter、Reward、Observation、Simulator。