[发明专利]数据导入中台的方法、装置、系统、电子设备、存储介质

说明书

本申请提供数据导入中台的方法、装置、系统、电子设备，所述方法包括：根据用户的类型向其分配相应的异构数据源中数据库的访问权限，以使得所述用户基于所述访问权限访问所述数据库并对所述数据库中的数据输入梳理操作；接收所述梳理操作，根据所述梳理操作对所述数据进行梳理；将梳理后的数据导入中台。本申请摒弃了需要依靠第三方咨询公司搭建中台的方案，消除了数据暴露在第三方人员以及其他无权限人员的风险，而且用户对数据的熟悉程度高于第三方咨询公司，在对数据梳理时会更加可靠和全面。

技术领域

本申请涉及数据处理技术领域，更具体地涉及一种数据导入中台的方法、装置、系统、电子设备、存储介质。

背景技术

在生产制造企业内部不同的业务部门有不同的系统，不同的系统可能连接不同的数据源。例如生产报表系统连接的MySQL数据库，运营SIS系统连接的Oracle数据库、财务金蝶系统连接的SQLServer数据库以及主数据系统连接的Oracle数据库等。这些数据源的数据结构、存取方式、形式往往是不一样的，导致前台读取时存在效率低下等问题。

数据中台可以理解为介于前后台之间的中间层，通过数据处理技术将海量数据收集、清洗和转换成统一口径的数据并进行存储、计算和分析的系统。

目前的中台建设需要第三方咨询公司帮助建立，导致数据源内的数据会直接暴露给第三方，而且第三方不能对系统理解得很透彻，因此会导致在数据梳理时发生遗漏等问题。

鉴于上述问题的存在，本申请提出一种新的数据导入中台的方法、装置、系统、电子设备、存储介质。

发明内容

在发明内容部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明。本发明的发明内容部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。

本申请实施例一方面提供了一种数据导入中台的方法，包括：根据用户的类型向其分配相应的异构数据源中数据库的访问权限，以使得所述用户基于所述访问权限访问所述数据库并对所述数据库中的数据输入梳理操作；接收所述梳理操作，根据所述梳理操作对所述数据进行梳理；将梳理后的数据导入中台。

在一个示例中，所述数据库的连接插入到预先创建的连接池内，以使得所述用户通过所述连接池访问所述数据库。

在一个示例中，所述根据所述梳理操作对所述数据进行梳理，包括：根据所述梳理操作选取待梳理的数据库；选取所述待梳理的数据库中符合要求的所述数据表；选取所述数据表中符合要求的字段；对所述字段进行分析，根据分析结果确定所述字段导入中台的方式；导入方式包括全量导入和增量导入。

在一个示例中，在对所述字段进行分析，根据分析结果确定所述字段导入中台的方式之后，还包括对所述字段进行校验的步骤，检验方式包括文本类型校验和数值类型校验，所述文本类型校验用于表征对字段的文本进行校验，所述数值类型校验用于表征对字段的数值进行校验。

在一个示例中，所述文本类型校验包括通用文本类校验和复杂文本类校验，所述通用文本类校验表征按照预先导入的校验规则对所述字段进行校验；所述复杂文本类校验表征在预先导入的校验规则的基础上添加规则对所述字段进行校验。

在一个示例中，所述在预先导入的校验规则的基础上添加规则，包括：获取用户添加的与梳理向导相匹配的规则；编辑规则信息并生成规则代码；所述规则信息包括以下至少之一：校验规则名称、校验类型、校验长度和校验限定；解析所述规则代码，并将解析结果插入预先导入的校验规则内。

在一个示例中，所述数值类型校验包括统计校验和运算校验；所述统计校验包括最大最小值校验、历史数据求和校验和均值校验中的至少一项；所述运算校验包括算术运算校验、范围校验和逻辑校验中的至少一项。