[发明专利]一种基于多尺度金融时间序列处理的深度强化学习交易方法

说明书

本发明公开了一种基于多尺度金融时间序列处理的深度强化学习交易方法，属于金融数据处理与量化金融领域。因为单一尺度金融时间序列的复杂与高度不平稳，会造成信息缺失,本发明在多尺度金融时间序列上使用缠论的方法进行k线数据去包含处理，然后抽取去包含数据中蕴含的底部分型和顶部分型，进而构造笔作为特征，减少序列噪声，提取了金融时间序列的长期有效信息作为多尺度的特征矩阵，并把该多尺度特征矩阵作为强化学习的环境状态，利用强化学习的深度确定性策略梯度算法(DDPG)搜索最优交易策略。该多尺度分笔深度确定性策略梯度强化学习模型能够超过市场表现，具有一定的实用价值和研究意义。

技术领域

本发明公开了一种基于多尺度金融时间序列处理的深度强化学习交易系统，属于量化金融与深度强化学习领域。

背景技术

时间序列是按照时间排序的一组随机变量，对时间序列的分析就是使用统计的手段对这个序列的过去进行分析，以此对该变量的变化特性建模，并对未来进行预测与判断。时间序列的分析在众多领域有着广泛的应用，其中对股票市场的分析是金融领域中常见而又典型的金融时间序列分析问题。

根据有效性市场假说：一切有价值的信息已经及时、准确、充分地反映在股价走势当中,因此可以对金融时间序列的过去状态进行建模得到股票交易策略。优秀的股票交易策略能控制风险并最大化股票交易回报，因此选择好的股票交易策略对于广大投资公司来说非常重要。然而由于金融序列的复杂特性使得获得最优的策略非常具有难度。

近年来，使用计算机算法进行自动交易渐渐兴起，出现了许多基于金融指标生成交易信号的传统交易策略，如移动平均线，相对强弱指数，海龟交易策略等，随着人工智能的发展，越来越多的研究人员与专家把机器学习算法也应用在股票交易上,其中强化学习擅长解决具有延迟回报的非线性问题,能利用已有信息获得最佳回报能够有效提升金融交易模型的适应性。Moody提出循环强化学习算法，Eiler等人将人工神经网络与强化学习思想相结合。使用RL的值迭代方法训练人工神经网络，并且只优化立即回报，使用反向传播算法训练神经网络。Wang等人基于深度Q学习构建一个自动化交易系统，并证明基于深度Q学习的方法要优于买入持有策略和循环强化学习策略。

发明内容

以上研究大多是基于单一尺度的处理，这会丢失多尺度信息，增加强化学习的学习难度。比如在日线上处于上涨趋势的k线在周线上却会处于下降趋势，此时处于短期内上涨，长期下降的趋势中，正确的操作应选择逢高离场来应对未来下降预期。单一尺度建模只能学习到短期买卖点，无法根据长期趋势及时撤离或者入场。因此，本发明在不同的时间尺度分别处理金融时间序列。考虑到金融时间序列高度非平稳，高度非线性并且具有大量噪声，使用经典投资理论缠论的k线处理方式利用几何分型的自相似特性，减少金融时间序列噪声，提取出股价变化的多尺度趋势特征作为深度强化学习的状态表示。并构筑构筑深度确定性策略梯度算法智能体与交易环境交互学习交易策略。

如图1所示，本发明交易算法包含以下步骤：

S1获取金融时间序列，对金融时间序列进行多尺度k线化处理。

因股票价格的剧烈变化，环境感知需要从高度非平稳和嘈杂的金融时间序列中学习特征表示。本发明使用缠论的思想对金融时间序列特征进行处理，首先需要对金融时间序列进行多尺度k线化处理。

所述多尺度处理指将单一周期数据扩充为多个周期数据：

k＝{k¹,k²,k³…kⁿ}

其中k¹指原数据，本发明选择10min尺度数据作为原数据，k²,k³…kⁿ为高维尺度数据，本发明选择日，周尺度作为扩充的多尺度数据。

所述k线指：