[发明专利]一种样本序列化方法和装置有效
| 申请号: | 201610141059.1 | 申请日: | 2016-03-11 |
| 公开(公告)号: | CN107180017B | 公开(公告)日: | 2021-05-28 |
| 发明(设计)人: | 周俊 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
| 主分类号: | G06F40/151 | 分类号: | G06F40/151;H04L29/08 |
| 代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 苏培华 |
| 地址: | 英属开曼群岛大开*** | 国省代码: | 暂无信息 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 样本 序列 方法 装置 | ||
1.一种样本序列化方法,其特征在于,包括:
获取待序列化样本中的各个字符串;
根据各字符串与各管理服务器之间的对应关系,确定每个字符串对应的管理服务器;
将所述字符串发送至相应的管理服务器,以供各管理服务器根据其维护的映射表,将接收到的字符串转化为相应的序列化ID;其中,不同管理服务器维护的映射表中的字符串互不相同;
接收各个管理服务器返回的对应各个字符串的序列化ID;
根据接收到的各字符串对应的序列化ID,将各个样本数据中的字符串转换为相应的序列化ID。
2.根据权利要求1所述的方法,其特征在于,所述根据各字符串与各管理服务器之间的对应关系,确定每个字符串对应的管理服务器的步骤,包括:
将字符串对应的哈希值除以管理服务器的个数,得到余数;
根据余数与管理服务器的对应关系,确定字符串对应的管理服务器。
3.根据权利要求1所述的方法,其特征在于,在获取待序列化样本中的各个字符串的步骤之后,还包括:
对各个字符串进行去重。
4.根据权利要求1-3其中之一所述的方法,其特征在于,所述获取待序列化样本中的各个字符串的步骤之前,还包括:
获取由调度服务器对所有样本数据进行平均分配后,属于当前序列化服务器自己的一批样本数据。
5.一种样本序列化方法,其特征在于,包括:
接收字符串;所述字符串由序列化服务器根据字符串与各管理服务器之间的对应关系发送;所述字符串由序列服务器从样本数据中获取;
根据本地维护的映射表,将所接收到的字符串转换为序列化ID;其中,不同管理服务器维护的映射表中的字符串互不相同;
将所述字符串对应的序列化ID返回给相应的序列化服务器,以供序列化服务器根据接收到的各字符串对应的序列化ID,将各个样本数据中的字符串转换为相应的序列化ID。
6.根据权利要求5所述的方法,其特征在于,所述接收字符串的步骤之前,还包括:
获取属于当前管理服务器自己的一批字符串;其中,属于当前管理服务器的一批字符串与属于其他管理服务器的字符串不同;
将所述字符串进行序列化,并构建字符串与序列化ID的映射表。
7.根据权利要求6所述的方法,其特征在于,所述将所述字符串进行序列化,并构建字符串与序列化ID的映射表的步骤,包括:
获取当前管理服务器的排序之前的各个管理服务器中的字符串的第一总数量N1;
以所述第一总数量N1加上当前管理服务器的字符串的数量M得到第二总数量N2;
以[N1+1,N2]作为当前管理服务器对字符串序列化的范围。
8.根据权利要求5-7其中之一所述的方法,其特征在于,所述根据本地维护的映射表,将所接收到的字符串转换为序列化ID的步骤包括:
查询本地维护的映射表中是否有所述字符串;
如果本地维护的映射表中有所述字符串,则获取该字符串对应的序列化ID;
如果本地维护的映射表中没有所述字符串,则针对所述字符串生成序列化ID,并将所述字符串以及相应序列化ID加入映射表。
9.根据权利要求6或7所述的方法,其特征在于,所述属于当前管理服务器的一批字符串包括:
所述一批字符串中各字符串所对应的余数属于当前管理服务器;所述余数为所述字符串对应的哈希值除以各个管理服务器的个数得到。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610141059.1/1.html,转载请声明来源钻瓜专利网。





