[发明专利]一种数据处理方法、装置、设备及存储介质在审
申请号: | 202110863400.5 | 申请日: | 2021-07-29 |
公开(公告)号: | CN113568914A | 公开(公告)日: | 2021-10-29 |
发明(设计)人: | 韩若冰;李红;曾凯 | 申请(专利权)人: | 上海浦东发展银行股份有限公司 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/2458;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 蔡舒野 |
地址: | 200000 *** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 装置 设备 存储 介质 | ||
1.一种数据处理方法,其特征在于,包括:
获取数据字段需求表,其中,所述数据字段需求表包括:字段的中文定义和字段的属性描述信息;
将所述数据字段需求表输入全连接神经网络模型,得到所述字段的英文定义,所述全连接神经网络模型通过目标样本集迭代训练神经网络模型得到,所述目标样本集包括:字段样本的中文定义、字段样本的英文定义和字段样本的属性描述信息。
2.根据权利要求1所述的方法,其特征在于,通过目标样本集迭代训练神经网络模型,包括:
将所述目标样本集中的字段样本的中文定义和字段样本的属性描述信息输入神经网络模型,得到预测英文定义;
根据所述预测英文定义和所述字段样本的英文定义形成的目标函数训练所述神经网络模型的参数;
返回执行将所述目标样本集中的字段样本的中文定义和字段样本的属性描述信息输入神经网络模型,得到预测英文定义到的操作,直至得到全连接神经网络模型。
3.根据权利要求1所述的方法,其特征在于,在将所述数据字段需求表输入全连接神经网络模型,得到所述字段的英文定义之后,还包括:
根据所述字段的英文定义确定所述字段的精度和所述字段的约束限制;
根据所述字段的中文定义、所述字段的英文定义、所述字段的精度和所述字段的约束限制创建数据库。
4.根据权利要求3所述的方法,其特征在于,在根据所述字段的中文定义、所述字段的英文定义、所述字段的精度和所述字段的约束限制创建数据库之后,还包括:
根据所述字段的英文定义生成索引设计表;
根据所述索引设计表中的每种字段组合的支持度确定目标项集;
将所述目标项集中置信度最大的字段组合确定为目标联合索引。
5.根据权利要求4所述的方法,其特征在于,在将所述目标项集中置信度最大的字段组合确定为目标联合索引之后,还包括:
根据所述字段的英文定义和所述目标联合索引生成数据表;
通过Spark框架将所述字段的英文定义对应的数据导入数据库。
6.根据权利要求1所述的方法,其特征在于,通过目标样本集迭代训练神经网络模型,包括:
获取目标样本集,其中,所述目标样本集包括:字段样本的中文定义、字段样本的英文定义和字段样本的属性描述信息;
对所述字段样本的中文定义和字段样本的属性描述信息进行语义分割,得到字段样本的中文定义对应的英文单词组合和字段样本的属性描述信息对应的英文单词组合;
根据字段样本的中文定义对应的英文单词组合和字段样本的属性描述信息对应的英文单词组合确定字段描述矩阵;
获取所述字段描述矩阵的第一特征值;
将所述第一特征值输入神经网络模型,得到第一向量;
获取所述第一向量对应的预测英文定义;
若所述预测英文定义和所述字段样本的英文定义相同,则判定为正确;
当正确率大于设定阈值时,得到全连接神经网络模型。
7.一种数据处理装置,其特征在于,包括:
获取模块,用于获取数据字段需求表,其中,所述数据字段需求表包括:字段的中文定义和字段的属性描述信息;
确定模块,用于将所述数据字段需求表输入全连接神经网络模型,得到所述字段的英文定义,所述全连接神经网络模型通过目标样本集迭代训练神经网络模型得到,所述目标样本集包括:字段样本的中文定义、字段样本的英文定义和字段样本的属性描述信息。
8.根据权利要求7所述的装置,其特征在于,所述确定模块具体用于:
将所述目标样本集中的字段样本的中文定义和字段样本的属性描述信息输入神经网络模型,得到预测英文定义;
根据所述预测英文定义和所述字段样本的英文定义形成的目标函数训练所述神经网络模型的参数;
返回执行将所述目标样本集中的字段样本的中文定义和字段样本的属性描述信息输入神经网络模型,得到预测英文定义到的操作,直至得到全连接神经网络模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海浦东发展银行股份有限公司,未经上海浦东发展银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110863400.5/1.html,转载请声明来源钻瓜专利网。