[发明专利]数据处理方法及系统、候选数据池、电子设备、计算机可读存储介质有效
| 申请号: | 202010188264.X | 申请日: | 2020-03-17 | 
| 公开(公告)号: | CN111368207B | 公开(公告)日: | 2023-09-22 | 
| 发明(设计)人: | 罗华林;徐梦远;贾滕阳;杨光 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 | 
| 主分类号: | G06F16/9535 | 分类号: | G06F16/9535;G06F16/215;G06F16/23 | 
| 代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 莎日娜 | 
| 地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 | 
| 权利要求书: | 查看更多 | 说明书: | 查看更多 | 
| 摘要: | |||
| 搜索关键词: | 数据处理 方法 系统 候选 数据 电子设备 计算机 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,应用于包括候选数据池和数据使用方的系统,所述方法执行于所述候选数据池,所述方法包括:
获取所述数据使用方发送的第一数据请求;
判断所述第一数据请求所请求的第一目标数据上一次更新的第一时刻,距离接收所述第一数据请求的第二时刻的第一时长,是否大于预先确定的数据有效窗口的时长;
在所述第一时长小于或等于所述数据有效窗口的时长的情况下,判断所述第一目标数据是否与数据有效规则相匹配;所述数据有效规则包括对数据内容的要求;
其中,所述第一目标数据是所述候选数据池中存储的数据,所述数据有效规则包括至少一种对数据的特征的要求;
所述数据有效规则还包括对数据结构的要求;
在判断所述第一目标数据是否与所述数据有效规则相匹配之后,所述数据处理方法还包括:
在所述第一目标数据的数据结构与所述数据有效规则中对数据结构的要求不匹配的情况下,获取所述第二时刻之前第一预设时间内被请求的数据中数据结构发生变化的第二目标数据,并对所述第一目标数据和所述第二目标数据进行更新;
所述第二目标数据包括至少一次第二数据请求所请求的数据;
所述对所述第一目标数据和所述第二目标数据进行更新,包括:
获取所述第一目标数据的第一生产方的数据传输接口的每秒查询率,以及每一次所述第二数据请求所请求的数据的第二生产方的数据传输接口的每秒查询率;
计算所述第一目标数据的大小与所述第一生产方的数据传输接口的每秒查询率的比值,以及,每一次所述第二数据请求所请求的数据的大小与对应的所述第二生产方的数据传输接口的每秒查询率的比值;
根据所述比值的大小,将所述第一目标数据的更新任务和所述至少一次第二数据请求所请求的数据的更新任务添加到不同的任务队列;
分别执行所述任务队列中的数据更新任务,其中,不同任务队列的任务并行处理,同一任务队列的任务按照在队列中的排序顺序执行。
2.根据权利要求1所述的数据处理方法,其特征在于,还包括:
在所述第一时长大于所述数据有效窗口的时长的情况下,对所述第一目标数据进行更新;
在所述第一目标数据的数据内容与所述数据有效规则中对数据内容的要求不匹配的情况下,对所述第一目标数据进行更新。
3.根据权利要求1所述的数据处理方法,其特征在于,还包括:
在接收到用户输入的情况下,获取第三目标数据,所述第三目标数据中包括至少一次第三数据请求所请求的数据中数据结构发生变化的数据,所述至少一次第三数据请求是处于所述用户输入的接收时刻之前的第二预设时间内的数据请求;
对所述第三目标数据进行更新;
其中,若所述第一数据请求处于所述第二预设时间内,则所述至少一次第三数据请求中包括所述第一数据请求;若所述第一数据请求处于所述第二预设时间之外,则所述至少一次第三数据请求中不包括所述第一数据请求。
4.根据权利要求3所述的数据处理方法,其特征在于,所述对所述第三目标数据进行更新,包括:
获取每一次所述第三数据请求所请求的数据的第三生产方的数据传输接口的每秒查询率;
计算每一次所述第三数据请求所请求的数据的大小与对应的所述第三生产方的数据传输接口的每秒查询率的比值;
根据所述比值的大小,将各第三数据请求所请求的数据的更新任务添加到不同的任务队列;
分别执行所述任务队列中的数据更新任务,其中,不同任务队列的任务并行处理,同一任务队列的任务按照在队列中的排序顺序执行。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010188264.X/1.html,转载请声明来源钻瓜专利网。





