[发明专利]一种自增强学习的撮合竞价方法及系统

权利要求书

1.一种自增强学习的撮合竞价方法，其特征在于，所述竞价方法包括：

采集所有售电商的报价，其中设定待测售电商报价为初始竞价，剩余其他售电商报价设定为初始售电商报价；

基于预先设定的步长分别调整初始售电商报价和初始竞价构成售电商报价和竞价报价；

基于所述初始售电商报价、初始竞价、竞价报价和售电商报价得到收益；

基于预先设定的步长重新调整电商报价和竞价报价继续计算收益，直到达到预先设定的学习报价轮数阈值；

基于所有的售电商报价、竞价报价和收益确定最终竞价报价。

2.如权利要求1所述的一种自增强学习的撮合竞价方法，其特征在于，所述采集所有售电商的报价，其中待测售电商报价为初始竞价，剩余其他售电商报价作为初始售电商报价包括：

采集所有售电商的报价构建集合S，S＝{s₁,s₂,…,s_n}，其中s₁,s₂,…,s_n为所有售电商报价；

设定待测售电商报价a_t，a_t∈S；

设定初始售电商报价为s_t，s_t∈S-a_t。

3.如权利要求1所述的一种自增强学习的撮合竞价方法，其特征在于，所述基于预先设定的步长调整所述竞价报价包括：

以小概率的ε‐greedy算法随机选择报价；

所述ε－greedy算法按下式计算：

ε＝temp^t

式中：temp：小于1的衰减系数；t：当前学习报价轮数。

4.如权利要求1所述的一种自增强学习的撮合竞价方法，其特征在于，所述基于预先设定的步长调整所述售电商报价如下式：

式中：p_i,t：售电商i在t轮学习中的模拟报价；step_i：售电商i的竞价风险调整步长；Gain_i：报价的函数，表征售电商i参与匹配的收益；其他：不满足调价条件的情况；t：当前学习报价轮数。

5.如权利要求4所述的一种自增强学习的撮合竞价方法，其特征在于，所述售电商i的竞价风险调整步长step_i基于概率θ_t计算；

以概率θ_t选择所述步长step_i，以概率1‐θ_t选择原步长step_i；

所述概率θ_t的计算式如下：

θ_t＝θ₀^t

式中：θ₀：报价调整概率且0＜θ₀＜1。

6.如权利要求1‐5任一项所述的一种自增强学习的撮合竞价方法，其特征在于，所述基于初始售电商报价、初始竞价报价、新的竞价报价和新的售电商报价采用Q‐learning算法得到收益由下式计算：

Q'(a_t,s_t)＝(1-α)Q(a_t,s_t)+αγmaxQ(a'_t+1,s'_t+1)

式中：α：学习率且0<α<1；γ：时间贴现率且0<γ<1；maxQ(a'_t+1,s'_t+1)：新状态下的最大收益值；a'_t+1：新状态下的最优策略；Q(a_t,s_t)：收益；Q'(a_t,s_t)：新状态的收益；t：当前学习报价轮数。

7.如权利要求6所述的一种自增强学习的撮合竞价方法，其特征在于，所述学习报价轮数阈值设定为1000。