[发明专利]一种数据的预测方法和装置有效
| 申请号: | 201810120980.7 | 申请日: | 2018-02-06 |
| 公开(公告)号: | CN108462605B | 公开(公告)日: | 2022-03-15 |
| 发明(设计)人: | 乔学明;王贻亮;张媛;杨军洲;刘乘麟;荣以平;朱伟义;刘宁;傅忠传;朱东杰;林艳;孟平;王超;孙海峰;姜婷;汤耀 | 申请(专利权)人: | 国家电网公司;国网山东省电力公司威海供电公司 |
| 主分类号: | H04L41/14 | 分类号: | H04L41/14;H04L41/147;H04L67/568;H04L67/1097;H04L41/069 |
| 代理公司: | 威海科星专利事务所 37202 | 代理人: | 于涛 |
| 地址: | 100000 *** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 数据 预测 方法 装置 | ||
1.一种数据的预测方法,其特征在于,包括:
获取文件访问日志,得到目标序列,其中,所述目标序列中包含访问用户的访问信息;
对所述目标序列进行处理,得到目标训练样本和目标测试样本,具体包括以下步骤:对所述目标序列进行归类,得到多个子目标序列,其中,所述子目标序列中包括每个用户在不同访问请求下的访问记录;对所述多个子目标序列按照预设比例进行切割,得到所述目标训练样本和所述目标测试样本;其中,对所述目标序列进行归类,得到多个子目标序列包括:按照用户信息对所述目标序列进行分类,得到中间子目标序列,其中,所述中间子目标序列中包括同一用户的多个访问记录;基于所述多个访问记录中任意两个连续访问记录之间的第一时间间隔对所述中间子目标序列进行再次分类,得到所述子目标序列;上述基于所述多个访问记录中任意两个连续访问记录之间的第一时间间隔对所述中间子目标序列进行再次分类包括:将第一时间间隔所对应的任意两个连续访问记录归为同一个访问请求下的访问记录,其中,所述第一时间间隔为小于第一预设间隔的时间间隔;
将所述目标训练样本和所述目标测试样本输入到预测模型中,以根据所述预测模型得到的预测结果,调整所述预测模型,得到目标预测模型;
基于所述目标预测模型对用户访问请求进行分析,得到预测数据集合,并基于所述预测数据集合的数据量对所述预测数据集合进行缓存,其中,所述预测数据集合用于表征用户在下一时刻访问的数据集合;上述基于所述目标预测模型对用户访问请求进行分析,得到预测数据集合,并基于所述预测数据集合的数据量对所述预测数据集合进行缓存包括:根据用户的访问请求,通过所述目标预测模型获取包含所述预测数据的预测数据集合;判断所述预测数据集合的数据量是否大于预设数据量;如果判断结果为是,则不将所述预测数据集合缓存至代理节点中,其中,所述代理节点为位于文件存储系统中的用于存储所述文件访问日志和所述预测数据集合的节点;如果判断结果为否,则将所述预测数据集合缓存至所述代理节点中。
2.根据权利要求1所述的方法,其特征在于,获取文件访问日志,得到目标序列包括:
查询所述文件访问日志的创建时间;
计算当前时间与所述创建时间之间的第二时间间隔;
如果所述第二时间间隔大于第二预设时间间隔,则将文件访问日志存储至计算节点,从而得到所述目标序列,其中,所述计算节点为处于文件存储系统中的用于对所述文件访问日志进行处理的节点。
3.根据权利要求1所述的方法,其特征在于,将所述目标训练样本和所述目标测试样本输入到预测模型中,以根据所述预测模型得到的预测结果,调整所述预测模型,得到目标预测模型包括:
构建所述预测模型;
将所述目标训练样本输入所述预测模型中,对所述预测模型进行训练;
将所述目标测试样本输入到训练之后的所述预测模型中,得到所述预测模型的预测结果;
基于所述预测模型的预测结果,对训练之后的所述预测模型的参数进行调整,最大化所述预测模型的预测精度,得到所述目标预测模型。
4.一种数据的预测装置,其特征在于,所述装置包括:获取装置,处理装置,校准装置和预测装置,其中,
所述获取装置用于获取文件访问日志,得到目标序列,其中,所述目标序列中包含访问用户的访问信息;
所述处理装置用于对所述目标序列进行处理,得到目标训练样本和目标测试样本,具体用于:对所述目标序列进行归类,得到多个子目标序列,其中,所述子目标序列中包括每个用户在不同访问请求下的访问记录;对所述多个子目标序列按照预设比例进行切割,得到所述目标训练样本和所述目标测试样本;其中,对所述目标序列进行归类,得到多个子目标序列包括:按照用户信息对所述目标序列进行分类,得到中间子目标序列,其中,所述中间子目标序列中包括同一用户的多个访问记录;基于所述多个访问记录中任意两个连续访问记录之间的第一时间间隔对所述中间子目标序列进行再次分类,得到所述子目标序列;上述基于所述多个访问记录中任意两个连续访问记录之间的第一时间间隔对所述中间子目标序列进行再次分类包括:将第一时间间隔所对应的任意两个连续访问记录归为同一个访问请求下的访问记录,其中,所述第一时间间隔为小于第一预设间隔的时间间隔;
所述校准装置用于将所述目标训练样本和所述目标测试样本输入到预测模型中,以根据所述预测模型得到的预测结果,调整所述预测模型,得到目标预测模型;
所述预测装置用于基于所述目标预测模型对用户访问请求进行分析,得到预测数据集合,并基于所述预测数据集合的数据量对所述预测数据集合进行缓存,其中,所述预测数据集合用于表征用户在下一时刻访问的数据集合;上述基于所述目标预测模型对用户访问请求进行分析,得到预测数据集合,并基于所述预测数据集合的数据量对所述预测数据集合进行缓存包括:根据用户的访问请求,通过所述目标预测模型获取包含所述预测数据的预测数据集合;判断所述预测数据集合的数据量是否大于预设数据量;如果判断结果为是,则不将所述预测数据集合缓存至代理节点中,其中,所述代理节点为位于文件存储系统中的用于存储所述文件访问日志和所述预测数据集合的节点;如果判断结果为否,则将所述预测数据集合缓存至所述代理节点中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于国家电网公司;国网山东省电力公司威海供电公司,未经国家电网公司;国网山东省电力公司威海供电公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810120980.7/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置





