[发明专利]数据处理方法、装置、计算机设备和计算机可读存储介质在审
| 申请号: | 201910876367.2 | 申请日: | 2019-09-17 |
| 公开(公告)号: | CN110597816A | 公开(公告)日: | 2019-12-20 |
| 发明(设计)人: | 林仕锋;侯皓龄 | 申请(专利权)人: | 深圳追一科技有限公司 |
| 主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/242;G06F16/28;G06Q40/00 |
| 代理公司: | 44224 广州华进联合专利商标代理有限公司 | 代理人: | 于丽君 |
| 地址: | 518051 广东省深圳市南山区粤海街道*** | 国省代码: | 广东;44 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 分类类别 字段 分类数据 目标模型 目标数据 数据处理 预设 计算机可读存储介质 模型训练过程 数据处理效率 计算机设备 数据处理量 金融数据 特征提取 需求确定 业务数据 字段匹配 样本 分类 客户 申请 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
根据预设分类类别,对多个客户样本的业务数据进行分类,得到分类数据;
根据预设的多个业务字段,从所述分类数据中提取与所述业务字段匹配的目标数据;所述分类类别及所述业务字段均是根据目标模型的训练需求确定的;
根据所述业务字段及所述目标数据,生成与各所述分类类别对应的标准数据表;所述标准数据表用于训练所述目标模型。
2.根据权利要1所述的方法,其特征在于,所述根据所述业务字段及所述目标数据,生成与各所述分类类别对应的标准数据表,包括:
检测所述目标数据的数据类型是否为枚举类型;
若所述目标数据的数据类型是枚举类型,则在预置的数字字典中,查找出与所述目标数据对应的数字编码;所述数字字典包括所述目标数据与所述数字编码的映射关系;
将所述数字编码导入与所述目标数据对应的所述业务字段下,以生成所述标准数据表。
3.根据权利要2所述的方法,其特征在于,所述方法还包括:
若所述目标数据的数据类型不是枚举类型,则将所述目标数据导入与所述目标数据对应的所述业务字段下,以生成所述标准数据表。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述根据预设的多个业务字段,从所述分类数据中提取与所述业务字段匹配的目标数据,包括:
根据所述多个业务字段,采用SQL语句,生成多个SQL任务;
基于所述多个SQL任务,从所述分类数据中提取与所述业务字段匹配的目标数据。
5.根据权利要求4所述的方法,其特征在于,所述基于所述多个SQL任务,从所述分类数据中提取与所述业务字段匹配的目标数据,包括:
检测所述多个SQL任务之间是否存在依赖关系;
若所述多个SQL任务之间不存在所述依赖关系,则并行执行所述多个SQL任务,以从所述分类数据中提取与所述业务字段匹配的目标数据。
6.根据权利要求1所述的方法,其特征在于,所述分类类别包括交易类、非交易类及交易辅助类;
所述交易类对应的所述标准数据表包括境内交易流水表和/或境外交易流水表;所述非交易类对应的所述标准数据表包括账户信息表、对私客户信息表及对公客户信息表中的至少一个;所述交易辅助类对应的所述标准数据表包括客户登录信息表、账户余额表、已上报可疑客户信息表、区域代码表中的至少一个。
7.根据权利要求1所述的方法,其特征在于,所述根据预设分类类别,对多个客户样本的业务数据进行分类,得到分类数据之前,还包括:
根据业务场景,确定各所述业务数据对应的数据库;
从相应的数据库获取所述多个客户样本的业务数据。
8.一种数据处理装置,其特征在于,所述装置包括:
分类模块,用于根据预设分类类别,对多个客户样本的原始数据进行分类,得到分类数据;
提取模块,用于根据预设的多个业务字段,从所述分类数据中提取与所述业务字段匹配的目标数据;所述分类类别及所述业务字段均是根据目标模型的训练需求确定的;
生成模块,用于根据所述业务字段及所述目标数据,生成与各所述分类类别对应的标准数据表;所述标准数据表用于训练所述目标模型。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳追一科技有限公司,未经深圳追一科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910876367.2/1.html,转载请声明来源钻瓜专利网。





