# 强化学习交易股票
在强化学习模型的奖励函数设计中同时引入了流动行风险、下行风险与长期累计奖励的考量,利用近五年A股市场数据,对五个深度强化学习算法进行测试,并与三种传统股票交易策略对比,找到比较合适的深度强化学习智能体
## 回测结果
回测结果展示(时间跨度为2020年1月1日至2022年1月1日)
<img width="750" src="./assets/result_picture.png" alt="reward.png"/>
回测结果分析表(时间跨度为2020年1月1日至2022年1月1日,baseline 为上证50指数)
| | Cumulative returns | Max drawdown | Omega ratio | Sharpe ratio | Calmar ratio | Sortino ratio | Annual return | Annual volatility |
|------------------------|--------------------|--------------|-------------|--------------|--------------|---------------|---------------|-------------------|
| 上证50指数 | 6.11% | -23.81% | 1.04 | 0.26 | 0.13 | 0.35 | 3.12% | 18.96% |
| Equal-weight strategy | 36.20% | -19.60% | 1.14 | 0.79 | 0.89 | 1.1 | 17.40% | 23.90% |
| Mean-variance strategy | 20.90% | -31.30% | 1.09 | 0.50 | 0.33 | 0.68 | 10.40% | 27.30% |
| Min-variance strategy | 1.10% | -16.40% | 1.02 | 0.11 | 0.04 | 0.16 | 0.60% | 14.40% |
| A2C | 45.72% | -24.47% | 1.16 | 0.85 | 0.88 | 1.23 | 21.61% | 27.47% |
| DDPG | 20.50% | -20.04% | 1.10 | 0.57 | 0.51 | 0.8 | 10.17% | 20.81% |
| PPO | 35.67% | -22.21% | 1.13 | 0.71 | 0.77 | 1.02 | 17.18% | 27.95% |
| SAC | 31.44% | -24.77% | 1.12 | 0.66 | 0.62 | 0.93 | 15.26% | 27.04% |
| TD3 | 38.31% | -23.10% | 1.15 | 0.78 | 0.79 | 1.09 | 18.36% | 26.20% |
更加详细的回测结果可以查看 [./plot_traded_result.ipynb](./plot_traded_result.ipynb)
## 快速开始
在终端中输入
```shell
git clone https://github.com/sunnyswag/RL_in_Stock.git
git pip install -r requirements.txt
```
进入 [./learn](./learn) 文件夹查看详细步骤
## 环境设计思路
**state_space 由三部分组成 :**
1. 当前的现金
3. 每只股票的持仓量
4. 股票数 * 环境因素(总计15个)
**reward 的计算方式:**
* Reward = 累计收益率 - 当前回撤率
<img width="450" src="./assets/reward.png" alt="reward.png"/>
**action_space 的空间:**
* actions ∈ [-x, x]
* 正数表示买入,负数表示卖出,0 表示不进行买入卖出操作
## Reference
[FinRL](https://github.com/AI4Finance-LLC/FinRL)
没有合适的资源?快使用搜索试试~ 我知道了~
温馨提示
1、该资源内项目代码经过严格调试,下载即用确保可以运行! 2、该资源适合计算机相关专业(如计科、人工智能、大数据、数学、电子信息等)正在做课程设计、期末大作业和毕设项目的学生、或者相关技术学习者作为学习资料参考使用。 3、该资源包括全部源码,需要具备一定基础才能看懂并调试代码。 基于深度强化学习训练A股市场股票自动交易的智能体源码.zip
资源推荐
资源详情
资源评论
收起资源包目录
基于深度强化学习训练A股市场股票自动交易的智能体源码.zip (130个子文件)
.gitignore 264B
.gitignore 140B
StockRL-main.iml 476B
对股票的具体操作.ipynb 9.04MB
plot_traded_result.ipynb 4.59MB
plot_result.ipynb 4.38MB
成分股交易期间整体表现.ipynb 1.98MB
conventional_strategy.ipynb 103KB
查看ppo模型参数.ipynb 64KB
查看ppo模型参数.ipynb 34KB
a2c.jpg 661KB
ppo.jpg 643KB
td3.jpg 369KB
a2c_former.jpg 368KB
ppo_former.jpg 357KB
a2c_later.jpg 341KB
ppo_later.jpg 333KB
all_stock_close.jpg 232KB
all_backtest.jpg 179KB
all_backtest_no_cost.jpg 174KB
all_stock_close_6.jpg 171KB
all_stock_close_1.jpg 167KB
all_stock_close_2.jpg 158KB
all_stock_close_3.jpg 153KB
all_stock_close_0.jpg 149KB
all_stock_close_4.jpg 143KB
all_stock_close_5.jpg 138KB
ppo_中国建筑.jpg 69KB
ppo_兆易创新.jpg 66KB
ppo_工商银行.jpg 65KB
ppo_农业银行.jpg 65KB
ppo_文泰科技.jpg 64KB
ppo_浦发银行.jpg 63KB
ppo_上汽集团.jpg 63KB
ppo_中国石化.jpg 63KB
all_stock_close_7.jpg 62KB
ppo_韦尔股份.jpg 61KB
ppo_用友网络.jpg 61KB
ppo_恒生电子.jpg 60KB
ppo_海螺水泥.jpg 60KB
ppo_华泰证券.jpg 60KB
ppo_伊利股份.jpg 59KB
ppo_山东黄金.jpg 58KB
ppo_招商银行.jpg 57KB
ppo_复星医药.jpg 56KB
ppo_航发动力.jpg 55KB
td3_中国建筑.jpg 55KB
ppo_海尔智家.jpg 55KB
ppo_中国联通.jpg 55KB
ppo_中国石油.jpg 55KB
ppo_中国神华.jpg 54KB
ppo_恒瑞医药.jpg 54KB
ppo_中国平安.jpg 54KB
ppo_中国中免.jpg 54KB
ppo_贵州茅台.jpg 54KB
ppo_通威股份.jpg 54KB
td3_兆易创新.jpg 53KB
ppo_山西汾酒.jpg 53KB
ppo_紫金矿业.jpg 52KB
ppo_万华化学.jpg 52KB
ppo_中金公司.jpg 52KB
td3_工商银行.jpg 52KB
td3_文泰科技.jpg 52KB
td3_农业银行.jpg 52KB
td3_浦发银行.jpg 51KB
td3_中国石化.jpg 51KB
td3_上汽集团.jpg 51KB
td3_韦尔股份.jpg 50KB
td3_海螺水泥.jpg 50KB
td3_用友网络.jpg 49KB
ppo_民生银行.jpg 49KB
td3_恒生电子.jpg 49KB
td3_山东黄金.jpg 48KB
td3_华泰证券.jpg 48KB
td3_伊利股份.jpg 47KB
td3_招商银行.jpg 47KB
td3_航发动力.jpg 46KB
td3_复星医药.jpg 46KB
td3_贵州茅台.jpg 46KB
td3_中国联通.jpg 46KB
td3_中国神华.jpg 46KB
td3_中金公司.jpg 46KB
td3_恒瑞医药.jpg 46KB
td3_海尔智家.jpg 46KB
td3_中国石油.jpg 45KB
td3_中国中免.jpg 45KB
td3_中国平安.jpg 45KB
td3_通威股份.jpg 45KB
td3_山西汾酒.jpg 45KB
td3_万华化学.jpg 44KB
td3_紫金矿业.jpg 44KB
td3_民生银行.jpg 42KB
SAC.log 15KB
SAC.log 15KB
PPO.log 15KB
PPO.log 15KB
TD3.log 15KB
TD3.log 15KB
DDPG.log 15KB
A2C.log 15KB
共 130 条
- 1
- 2
资源评论
- 世界的欢喜2024-03-06总算找到了自己想要的资源,对自己的启发很大,感谢分享~
辣椒种子
- 粉丝: 3329
- 资源: 5724
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功