[发明专利]基于大数据的EXCEL数据源清洗方法、系统、电子设备和存储介质

权利要求书

1.一种基于大数据的EXCEL数据源清洗方法，其特征在于，包括：

解析并结构化EXCEL数据源；

对解析并结构化后的EXCEL数据源中的数据进行关键属性名称的标准化处理；

对标准化后的EXCEL数据源进行清洗；

根据标准数据库对清洗后的EXCEL数据源进行标准匹配并完善数据信息；

对标准化后的EXCEL数据源进行清洗，包括：

对EXCEL数据源中的数据进行预处理；

构建知识库模型，将预处理后的EXCEL数据源中的数据与知识库模型中储存的非标准数据作对照，如果相等，则确定EXCEL数据源中的数据为对应的标准数据；

构建设置有标准数据的标准库，对EXCEL数据源中的数据进行深层清洗后确认与标准库中的标准数据相似的数据，并将其替换为标准库中的标准数据。

2.根据权利要求1所述的基于大数据的EXCEL数据源清洗方法，其特征在于，解析并结构化EXCEL数据源，包括：

上传EXCEL数据源，指定数据源中标题行数；

根据标题行数区分标题行和数据区；

根据标题最后一行自动构建数据模型，定义相应字段名称；

建立字段与标题的对应关系；

将EXCEL数据源的数据存入数据库。

3.根据权利要求1所述的基于大数据的EXCEL数据源清洗方法，其特征在于，对解析并结构化后的EXCEL数据源中的数据进行关键属性名称的标准化处理为对EXCEL数据源中的关键字段数据与标准数据进行匹配。

4.根据权利要求1所述的基于大数据的EXCEL数据源清洗方法，其特征在于，所述预处理包括：

使用JAVA中去除前后空格的方法去除数据中的前后空格；

使用JAVA中字符替换的方法，将空格替换为符号，去除字符串中的所有空格；

使用JAVA中小写转大写的方法，把数据的小写字母转为大写字母；

使用正则表达式校验手机号。

5.根据权利要求4所述的基于大数据的EXCEL数据源清洗方法，其特征在于，使用余弦值算法，根据EXCEL数据源中的关键字段，找到标准库中的相对应的数据，其中所述余弦值算法为：

；

式中：x和y分别表示两个向量，i表示向量的纬度，x_i表示向量x第i纬度的坐标点，y_i表示向量y第i纬度的坐标点，θ表示x向量和y向量的夹角，n表示x向量和y向量是n纬的；

余弦值越接近1，则表明夹角越接近0度，即两个向量越相似，夹角等于0，即两个向量相等。

6.根据权利要求5所述的基于大数据的EXCEL数据源清洗方法，其特征在于，列出与EXCEL数据源中的数据相对应的标准库数据，确认与EXCEL数据源中的数据匹配的标准数据，确认后，使用sql的update方法，直接把EXCEL数据源中的数据替换为标准库的数据。

7.一种基于大数据的EXCEL数据源清洗系统，其特征在于，包括:

数据解析模块，用于解析并结构化EXCEL数据源；

标准化处理模块，对解析并结构化后的EXCEL数据源中的数据进行关键属性名称的标准化处理；

数据清洗模块，对标准化后的EXCEL数据源进行清洗；

数据标准匹配模块，根据标准数据库对清洗后的EXCEL数据源进行标准匹配并完善数据信息；

对标准化后的EXCEL数据源进行清洗，包括：

对EXCEL数据源中的数据进行预处理；

构建知识库模型，将预处理后的EXCEL数据源中的数据与知识库模型中储存的非标准数据作对照，如果相等，则确定EXCEL数据源中的数据为对应的标准数据；

构建设置有标准数据的标准库，对EXCEL数据源中的数据进行深层清洗后确认与标准库中的标准数据相似的数据，并将其替换为标准库中的标准数据。