[发明专利]一种基于强化学习的推荐策略生成方法及装置在审
申请号: | 202110726927.3 | 申请日: | 2021-06-29 |
公开(公告)号: | CN113688306A | 公开(公告)日: | 2021-11-23 |
发明(设计)人: | 李成钢;黄莹;李忠;李金岭;杜忠田;王彦君;夏海轮;张碧昭;余清华;卜理超;张天正;李凤文;袁福碧 | 申请(专利权)人: | 中国电信集团系统集成有限责任公司 |
主分类号: | G06F16/9535 | 分类号: | G06F16/9535;G06N20/00 |
代理公司: | 北京知汇林知识产权代理事务所(普通合伙) 11794 | 代理人: | 董涛 |
地址: | 100036 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 强化 学习 推荐 策略 生成 方法 装置 | ||
本发明公开了一种基于强化学习的推荐策略生成方法及装置,属于智能推荐领域。其中,该方法包括:获取场景信息;根据所述场景信息,生成用户模拟器;根据所述用户模拟器生成模拟环境;通过所述模拟环境,采用策略梯度算法生成推荐策略模型。本发明解决了现有推荐方法存在的短期内损害推荐效果、在推荐前期向用户推荐其完全不感兴趣的项目,以及需要大量尝试才能获得相对准确的项目奖励的技术问题,实现了在满足用户当前兴趣爱好的同时,高效、合理、精准的挖掘用户的隐藏偏好的技术效果。
技术领域
本发明属于智能推荐领域,具体而言,涉及一种基于强化学习的推荐策略生成方法及装置。
背景技术
随着智能化科技的不断发展,人们的生活、工作、学习之中越来越多地用到了智能化设备,使用智能化科技手段,提高了人们生活的质量,增加了人们学习和工作的效率。
目前大部分推荐算法都是在获取用户历史数据的基础上,设计并训练监督算法,在确定用户对不同物品的兴趣爱好后,为用户进行个性化推荐。在这类推荐算法中,用户的兴趣爱好由收集的用户历史数据决定,且假设用户兴趣爱好在一定时间内保持不变。但对于大部分的推荐系统而言,例如音乐、电影推荐系统,用户的兴趣爱好是一直变化的,甚至会随着推荐系统推荐内容的变化而变化。因此,目前的推荐系统面临两个挑战:(1)用户的兴趣爱好并不是一成不变,而是随时间发生变化,因此推荐算法既要考虑用户的短期兴趣,又要挖掘用户的潜在兴趣,从而获得更高的长期效益。(2)当前推荐算法倾向于不断向用户推荐相似项目,这可能会降低用户对相似主题的兴趣,从而降低对整个推荐服务的满意度。这两个挑战即推荐系统中的探索和利用(Exploration and Exploitation,EE)问题,即如何在满足用户当前兴趣爱好的同时,挖掘用户的隐藏偏好。
由于推荐问题可以转换为序列问题,也可以对强化学习的三要素(状态、动作和奖励)进行定义,因此可以将强化学习框架应用到推荐算法中,从而解决推荐场景中的上述问题。目前已有的一些强化学习方法,在推荐新项目的决策中增加了一些随机性,以解决EE问题。如采用简单的∈-Greedy策略和基于多臂老虎机算法的上置信度边界(UpperConfidence Bound,UCB)策略,但这两种策略都存在短期内损害推荐效果的问题,其中∈-Greedy策略可能会在推荐前期向用户推荐其完全不感兴趣的项目,而UCB算法需要大量尝试才能获得相对准确的项目奖励。
发明内容
本发明提供了一种基于强化学习的推荐策略生成方法及装置,解决了现有推荐方法存在的短期内损害推荐效果、在推荐前期向用户推荐其完全不感兴趣的项目,以及需要大量尝试才能获得相对准确的项目奖励的技术问题,实现了在满足用户当前兴趣爱好的同时,高效、合理、精准的挖掘用户的隐藏偏好的技术效果。
本发明的一个方面,提供了一种基于强化学习的推荐策略生成方法,包括:获取场景信息;根据所述场景信息,生成用户模拟器;根据所述用户模拟器生成模拟环境;通过所述模拟环境,采用策略梯度算法生成推荐策略模型。
进一步地,在所述获取场景信息之前,所述方法还包括:根据用户需求定义推荐场景。
进一步地,所述根据所述场景信息,生成用户模拟器包括:根据注意力机制对所述场景信息进行用户状态描述,得到用户状态;通过所述用户状态,确定用户决策函数和用户奖励函数;根据所述用户决策函数和所述用户奖励函数,构建所述用户模拟器。
进一步地,在所述通过所述模拟环境,采用策略梯度算法生成推荐策略模型之后,所述方法还包括:将所述推荐策略模型进行输出。
本发明的另一方面,还提供了一种基于强化学习的推荐策略生成装置,包括:获取模块,用于获取场景信息;生成模块,用于根据所述场景信息,生成用户模拟器;模拟模块,用于根据所述用户模拟器生成模拟环境;推荐模块,用于通过所述模拟环境,采用策略梯度算法生成推荐策略模型。
进一步地,所述装置还包括:定义模块,用于根据用户需求定义推荐场景。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电信集团系统集成有限责任公司,未经中国电信集团系统集成有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110726927.3/2.html,转载请声明来源钻瓜专利网。