[发明专利]一种基于强化学习的推荐策略生成方法及装置在审

专利信息
申请号: 202110726927.3 申请日: 2021-06-29
公开(公告)号: CN113688306A 公开(公告)日: 2021-11-23
发明(设计)人: 李成钢;黄莹;李忠;李金岭;杜忠田;王彦君;夏海轮;张碧昭;余清华;卜理超;张天正;李凤文;袁福碧 申请(专利权)人: 中国电信集团系统集成有限责任公司
主分类号: G06F16/9535 分类号: G06F16/9535;G06N20/00
代理公司: 北京知汇林知识产权代理事务所(普通合伙) 11794 代理人: 董涛
地址: 100036 北京市海淀区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 强化 学习 推荐 策略 生成 方法 装置
【说明书】:

发明公开了一种基于强化学习的推荐策略生成方法及装置,属于智能推荐领域。其中,该方法包括:获取场景信息;根据所述场景信息,生成用户模拟器;根据所述用户模拟器生成模拟环境;通过所述模拟环境,采用策略梯度算法生成推荐策略模型。本发明解决了现有推荐方法存在的短期内损害推荐效果、在推荐前期向用户推荐其完全不感兴趣的项目,以及需要大量尝试才能获得相对准确的项目奖励的技术问题,实现了在满足用户当前兴趣爱好的同时,高效、合理、精准的挖掘用户的隐藏偏好的技术效果。

技术领域

本发明属于智能推荐领域,具体而言,涉及一种基于强化学习的推荐策略生成方法及装置。

背景技术

随着智能化科技的不断发展,人们的生活、工作、学习之中越来越多地用到了智能化设备,使用智能化科技手段,提高了人们生活的质量,增加了人们学习和工作的效率。

目前大部分推荐算法都是在获取用户历史数据的基础上,设计并训练监督算法,在确定用户对不同物品的兴趣爱好后,为用户进行个性化推荐。在这类推荐算法中,用户的兴趣爱好由收集的用户历史数据决定,且假设用户兴趣爱好在一定时间内保持不变。但对于大部分的推荐系统而言,例如音乐、电影推荐系统,用户的兴趣爱好是一直变化的,甚至会随着推荐系统推荐内容的变化而变化。因此,目前的推荐系统面临两个挑战:(1)用户的兴趣爱好并不是一成不变,而是随时间发生变化,因此推荐算法既要考虑用户的短期兴趣,又要挖掘用户的潜在兴趣,从而获得更高的长期效益。(2)当前推荐算法倾向于不断向用户推荐相似项目,这可能会降低用户对相似主题的兴趣,从而降低对整个推荐服务的满意度。这两个挑战即推荐系统中的探索和利用(Exploration and Exploitation,EE)问题,即如何在满足用户当前兴趣爱好的同时,挖掘用户的隐藏偏好。

由于推荐问题可以转换为序列问题,也可以对强化学习的三要素(状态、动作和奖励)进行定义,因此可以将强化学习框架应用到推荐算法中,从而解决推荐场景中的上述问题。目前已有的一些强化学习方法,在推荐新项目的决策中增加了一些随机性,以解决EE问题。如采用简单的∈-Greedy策略和基于多臂老虎机算法的上置信度边界(UpperConfidence Bound,UCB)策略,但这两种策略都存在短期内损害推荐效果的问题,其中∈-Greedy策略可能会在推荐前期向用户推荐其完全不感兴趣的项目,而UCB算法需要大量尝试才能获得相对准确的项目奖励。

发明内容

本发明提供了一种基于强化学习的推荐策略生成方法及装置,解决了现有推荐方法存在的短期内损害推荐效果、在推荐前期向用户推荐其完全不感兴趣的项目,以及需要大量尝试才能获得相对准确的项目奖励的技术问题,实现了在满足用户当前兴趣爱好的同时,高效、合理、精准的挖掘用户的隐藏偏好的技术效果。

本发明的一个方面,提供了一种基于强化学习的推荐策略生成方法,包括:获取场景信息;根据所述场景信息,生成用户模拟器;根据所述用户模拟器生成模拟环境;通过所述模拟环境,采用策略梯度算法生成推荐策略模型。

进一步地,在所述获取场景信息之前,所述方法还包括:根据用户需求定义推荐场景。

进一步地,所述根据所述场景信息,生成用户模拟器包括:根据注意力机制对所述场景信息进行用户状态描述,得到用户状态;通过所述用户状态,确定用户决策函数和用户奖励函数;根据所述用户决策函数和所述用户奖励函数,构建所述用户模拟器。

进一步地,在所述通过所述模拟环境,采用策略梯度算法生成推荐策略模型之后,所述方法还包括:将所述推荐策略模型进行输出。

本发明的另一方面,还提供了一种基于强化学习的推荐策略生成装置,包括:获取模块,用于获取场景信息;生成模块,用于根据所述场景信息,生成用户模拟器;模拟模块,用于根据所述用户模拟器生成模拟环境;推荐模块,用于通过所述模拟环境,采用策略梯度算法生成推荐策略模型。

进一步地,所述装置还包括:定义模块,用于根据用户需求定义推荐场景。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国电信集团系统集成有限责任公司,未经中国电信集团系统集成有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110726927.3/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top