[发明专利]一种用于广域网络的深度强化学习推荐系统及方法

摘要

本发明涉及用于广域网络的深度强化学习推荐系统，包括：数据采集及预处理模块、分布式实时数据库、历史数据库、离线训练模块、在线训练模块、广域分布式深度强化学习模块、分布式计算模块以及用户交互模块；数据采集及预处理模块用于采集数据并对数据进行预处理；分布式实时数据库用于存储在给定时效内的分布式数据；历史数据库用于保存已经过了给定时效的数据；离线训练模块根据历史数据，进行权重和偏置的调整；在线训练模块根据分布式实时数据，进行权重和偏置的调整；广域分布式深度强化学习模块根据推荐请求，结合权重与偏置，生成推荐结果；用户交互模块接收推荐请求，将推荐结果呈现给用户。

主权项

1.一种用于广域网络的深度强化学习推荐系统，其特征在于，包括：数据采集及预处理模块、分布式实时数据库、历史数据库、离线训练模块、在线训练模块、广域分布式深度强化学习模块、分布式计算模块以及用户交互模块；其中，所述数据采集及预处理模块用于采集数据并对数据进行预处理；所述分布式实时数据库用于存储在给定时效内的分布式数据；所述历史数据库用于保存已经过了给定时效的数据；所述离线训练模块根据历史数据，对所述广域分布式深度强化学习模块进行权重和偏置的调整；所述权重和偏置具体为所述分布式计算模块返回的推荐结果的权重和偏置；所述在线训练模块根据分布式实时数据，对所述广域分布式深度强化学习模块进行具有地理分布式、时效性和个性化特征的权重和偏置的调整，根据用户的不同，以及时间和地点的不同，这些权重或偏置是不同的；所述广域分布式深度强化学习模块根据用户的推荐请求，结合具有地理分布式、时效性和个性化特征的所述权重与偏置，为该用户生成推荐结果；所述广域分布式深度强化学习模块，将来自所有分布式计算模块的推荐结果作为输入集合，通过可学习的权重和偏置进行组合和强化，推荐出最终的结果集作为输出集合；所述广域分布式深度强化学习模块进一步包括：组合推荐结果子模块、调整权重子模块、发送需要计算的用户标签和接收计算出的推荐结果子模块，以及向用户交互模块推送推荐结果子模块；其中，所述组合推荐结果子模块用于对所述分布式计算模块返回的推荐结果进行权重组合，从而推荐出整个结果集；所述调整权重子模块根据用户对推荐的关注情况来调整推荐算法的推荐权重；所述发送需要计算的用户标签和接收计算出的推荐结果子模块用于向不同类型的分布式计算模块发送需要计算推荐结果的用户标签，并接收不同类型的分布式计算模块发送的推荐结果集；所述向用户交互模块推送推荐结果子模块用于将组合好的结果集向用户的客户端推荐；所述用户交互模块接收用户的推荐请求，并将所述广域分布式深度强化学习模块所生成的推荐结果呈现给用户。