[发明专利]一种数据处理方法、装置、设备及存储介质

说明书

本发明公开了一种数据处理方法、装置、设备及存储介质。该方法包括：获取数据字段需求表，其中，所述数据字段需求表包括：字段的中文定义和字段的属性描述信息；将所述数据字段需求表输入全连接神经网络模型，得到所述字段的英文定义，所述全连接神经网络模型通过目标样本集迭代训练神经网络模型得到，所述目标样本集包括：字段样本的中文定义、字段样本的英文定义和字段样本的属性描述信息，通过本发明的技术方案，能够结合数据库开发规范，将字段映射表制成训练样本集，采用全连接神经网络生成具有统一规范的字段定义。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备及存储介质。

背景技术

数据库应用系统在投入使用的初始阶段，大都需要一次性录入大量初始数据，这一过程，往往需要从本地或其它系统获取相关数据。传统方法是利用数据库应用系统本身的数据录入功能完成这一工作，或者针对特定的业务编写特定的代码去实现批量数据的录入。录入功能的开发包括数据库的定义，数据表的定义以及索引的定义。数据库定义一般采用“sql”脚本完成，特定业务代码一般采用SpringBatch和Spark等大数据处理框架完成。二者的开发效率主要依赖于开发人员的技术熟练度以及对业务知识的理解。

批量工程的主要工作是将不同的数据文件根据一定的处理规则导入数据库。数据文件通过矩阵形式进行描述，每行数据代表一条独立的数据，每列数据代表同一种属性。为了保证数据导入对应数据表(数据库中包含多种数据表)后，每列数据都具有清晰准确的定义(英文缩写、精度大小、是否可为空值等)，需要开发人员结合数据库开发规范以及数据属性实际含义对数据表进行详细设计。但由于不同开发人员对规范理解的不同以及个人经验的差异，会出现同一种数据属性在不同数据表中定义不统一的现象。这种问题不利于用户对数据的理解和数据库的长期维护。

发明内容

本发明实施例提供一种数据处理方法、装置、设备及存储介质，以实现能够结合数据库开发规范，将字段映射表制成训练样本集，采用全连接神经网络进行模型训练，使该网络以数据属性(字段)作为输入，生成具有统一规范的字段定义，以实现数据表设计的统一化和规范化。

第一方面，本发明实施例提供了一种数据处理方法，包括：

获取数据字段需求表，其中，所述数据字段需求表包括：字段的中文定义和字段的属性描述信息；

将所述数据字段需求表输入全连接神经网络模型，得到所述字段的英文定义，所述全连接神经网络模型通过目标样本集迭代训练神经网络模型得到，所述目标样本集包括：字段样本的中文定义、字段样本的英文定义和字段样本的属性描述信息。

进一步的，通过目标样本集迭代训练神经网络模型，包括：

将所述目标样本集中的字段样本的中文定义和字段样本的属性描述信息输入神经网络模型，得到预测英文定义；

根据所述预测英文定义和所述字段样本的英文定义形成的目标函数训练所述神经网络模型的参数；

返回执行将所述目标样本集中的字段样本的中文定义和字段样本的属性描述信息输入神经网络模型，得到预测英文定义到的操作，直至得到全连接神经网络模型。

进一步的，在将所述数据字段需求表输入全连接神经网络模型，得到所述字段的英文定义之后，还包括：

根据所述字段的英文定义确定所述字段的精度和所述字段的约束限制；

根据所述字段的中文定义、所述字段的英文定义、所述字段的精度和所述字段的约束限制创建数据库。

进一步的，在根据所述字段的中文定义、所述字段的英文定义、所述字段的精度和所述字段的约束限制创建数据库之后，还包括：

根据所述字段的英文定义生成索引设计表；

根据所述索引设计表中的每种字段组合的支持度确定目标项集；