[发明专利]跨多数据表的数据处理方法、装置、介质和计算设备有效
申请号: | 201710866877.2 | 申请日: | 2017-09-22 |
公开(公告)号: | CN108268586B | 公开(公告)日: | 2020-06-16 |
发明(设计)人: | 李光明 | 申请(专利权)人: | 阿里巴巴(中国)有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458 |
代理公司: | 上海知锦知识产权代理事务所(特殊普通合伙) 31327 | 代理人: | 汤陈龙 |
地址: | 310052 浙江省杭州市滨江*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 多数 数据处理 方法 装置 介质 计算 设备 | ||
1.一种跨多数据表的数据处理方法,其特征在于,包括:
获取多个第一数据表,所述多个第一数据表中的每个第一数据表的每一行包括对象标识和所述对象标识所标识的对象的多个特征数据;
将多个第一数据表中每个第一数据表的每一行转换为一个子数据表,所述子数据表的每一行包括所述对象标识和所述对象标识所标识的对象的一个特征数据,所述第一数据表对应的子数据表构成第二数据表;
以第二数据表中的特征数据为连接键,对每个第一数据表对应的第二数据表进行表连接,得到目标数据表,其中,所述目标数据表中的每一行包括一个特征数据,以及所述特征数据对应的至少一个对象标识。
2.根据权利要求1所述的方法,其特征在于,所述将多个第一数据表中每个第一数据表的每一行转换为一个子数据表,包括:
根据所述第一数据表的每一行包括的多个特征数据,将所述第一数据表的每一行拆分成包括多行的子数据表,所述子数据表的行数与所述多个特征数据的个数相同。
3.根据权利要求1所述的方法,其特征在于,所述以第二数据表中的特征数据为连接键,对每个第一数据表对应的第二数据表进行表连接,得到目标数据表,包括:
从每个第一数据表对应的第二数据表中选择一个第二数据表作为主表,将剩余的第二数据表作为从表,以每个所述第二数据表中的特征数据为连接键,将所述从表左连接至所述主表,得到目标数据表。
4.根据权利要求1所述的方法,其特征在于,所述方法,还包括:
以所述目标数据表中的特征数据为依据,确定所述目标数据表中来自于不同的第一数据表中的对象标识所标识的对象之间的关联关系。
5.根据权利要求4所述的方法,其特征在于,所述确定来自于不同的第一数据表中的对象标识所标识的对象之间的关联关系,包括:
确定所述目标数据表中多个对象标识所标识的对象之间具有的相同特征数据的数量,所述多个对象标识分别来自于多个不同的所述第一数据表。
6.根据权利要求4所述的方法,其特征在于,所述确定来自于不同的第一数据表中的对象标识所标识的对象之间的关联关系,包括:
确定所述目标数据表中与目标特征数据对应的来自于不同的所述第一数据表的数据标识所标识的对象;或者
确定所述目标数据表中与目标对象对应有相同特征数据的其他对象的对象标识。
7.根据权利要求4-6任一项所述的方法,其特征在于,所述以所述目标数据表中的特征数据为依据,确定所述目标数据表中来自于不同的第一数据表中的对象标识所标识的对象之间的关联关系,包括:
获取目标任务,所述目标任务包括:确定所述目标数据表中来自于不同的第一数据表中的对象标识所标识的对象之间的关联关系;
根据所述目标任务,将所述目标数据表以所述特征数据为主键映射为多个规约任务,通过分布式运算所述多个规约任务完成所述目标任务。
8.一种跨多数据表的数据处理装置,其特征在于,包括:
获取模块,用于获取多个第一数据表,所述多个第一数据表中的每个第一数据表的每一行包括对象标识和所述对象标识所标识的对象的多个特征数据;
转换模块,用于将多个第一数据表中每个第一数据表的每一行转换为一个子数据表,所述子数据表的每一行包括所述对象标识和所述对象标识所标识的对象的一个特征数据,所述第一数据表对应的子数据表构成第二数据表;
连接模块,用于以第二数据表中的特征数据为连接键,对每个第一数据表对应的第二数据表进行表连接,得到目标数据表,其中,所述目标数据表中的每一行包括一个特征数据,以及所述特征数据对应的至少一个对象标识。
9.根据权利要求8所述的装置,其特征在于,所述转换模块包括:
数据表拆分单元,用于根据所述第一数据表的每一行包括的多个特征数据,将所述第一数据表的每一行拆分成包括多行的子数据表,所述子数据表的行数与所述多个特征数据的个数相同。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴(中国)有限公司,未经阿里巴巴(中国)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710866877.2/1.html,转载请声明来源钻瓜专利网。