[发明专利]大数据处理方法、装置、设备及计算机可读存储介质有效
申请号: | 202110093307.0 | 申请日: | 2021-01-25 |
公开(公告)号: | CN112464619B | 公开(公告)日: | 2021-05-25 |
发明(设计)人: | 李泽华 | 申请(专利权)人: | 平安国际智慧城市科技股份有限公司 |
主分类号: | G06F40/126 | 分类号: | G06F40/126;G06F40/157 |
代理公司: | 北京鸿元知识产权代理有限公司 11327 | 代理人: | 袁文婷;张娓娓 |
地址: | 518000 广东省深圳市前海深港合*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 设备 计算机 可读 存储 介质 | ||
1.一种大数据处理方法,应用于电子装置,其特征在于,所述方法包括:
根据数据处理指令,获取待处理目标所需的目标数据;其中,所述目标数据包括目标数据主题字段以及与所述目标数据主题字段相对应的目标数据值;
根据预设数据主题字段编码字典表,将所述目标数据主题字段替换为与其相对应的预设字段编码,得到目标数据主题编码;其中,每个目标数据主题字段均匹配有一一对应的预设字段编码;且,所述预设字段编码的字符串长度小于所述目标数据主题字段的字符串长度;
将所述目标数据主题编码与所述目标数据值进行映射处理,得到所述目标数据值与所述目标数据主题编码的编码数据映射表;
根据所述编码数据映射表和预先获取的目标处理函数对所述待处理目标进行大数据处理;其中,所述目标处理函数为处理所述待处理目标所需的函数,每个待处理目标均匹配有相应的目标处理函数;其中,
所述根据所述编码数据映射表和预先获取的目标处理函数对所述待处理目标进行大数据处理包括:
从预设函数表中,获取与所述待处理目标相对应的处理目标表示字段,作为待处理目标表示字段;其中,所述预设函数表包括处理目标表示字段和与所述处理目标表示字段相匹配的处理函数;
从所述预设函数表中获取与所述待处理目标表示字段相匹配的处理函数,作为目标处理函数;
通过将所述编码数据映射表中的目标数据主题编码和所述目标数据值代入所述目标处理函数中,对所述待处理目标进行大数据处理。
2.根据权利要求1所述的大数据处理方法,其特征在于,所述根据数据处理指令,获取待处理目标所需的目标数据包括:
获取数据处理指令,其中,所述数据处理指令包括待处理目标;
根据所述待处理目标,从预设数据地址目录中获取与所述待处理目标相对应的数据的存储位置,作为目标数据的存储位置;其中,所述预设数据地址目录包括待处理目标和与所述待处理目标相对应的目标数据的存储位置;
根据所述目标数据的存储位置,获取待处理目标所需的目标数据。
3.根据权利要求1所述的大数据处理方法,其特征在于,在所述根据预设数据主题字段编码字典表,将所述目标数据主题字段替换为与其相对应的预设字段编码,得到目标数据主题编码之前,还包括:
根据预设编码规则,将数据主题字段进行编码处理,得到预设字段编码;
将所述数据主题字段和与其相对应的预设字段编码加载至预设字典表中,得到数据主题字段编码字典表。
4.根据权利要求3所述的大数据处理方法,其特征在于,所述数据主题字段编码字典表存储于区块链中,根据预设数据主题字段编码字典表,所述将所述目标数据主题字段替换为与其相对应的预设字段编码,得到目标数据主题编码包括:
从所述数据主题字段编码字典表中获取与所述目标数据主题字段相同的数据主题字段,作为相同数据主题字段;
从所述数据主题字段编码字典表中获取与所述相同数据主题字段相对应的预设字段编码,作为目标数据主题编码。
5.根据权利要求1所述的大数据处理方法,其特征在于,所述将所述目标数据主题编码与所述目标数据值进行映射处理,得到所述目标数据值与所述目标数据主题编码的编码数据映射表包括:
分别获取与所述目标数据主题字段相对应的目标数据主题编码和目标数据值;
将所述目标数据主题编码与所述目标数据值一一对应地映射至预设映射表中,得到所述目标数据值与所述目标数据主题编码的编码数据映射表。
6.根据权利要求1所述的大数据处理方法,其特征在于,在所述根据所述编码数据映射表和预先获取的目标处理函数对所述待处理目标进行大数据处理后,还包括:
将所述大数据处理后的结果和所述待处理目标表示字段加载至预设处理结果表格中,得到大数据处理结果表;
将所述大数据处理结果表输出。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安国际智慧城市科技股份有限公司,未经平安国际智慧城市科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110093307.0/1.html,转载请声明来源钻瓜专利网。