[发明专利]一种数据清洗方法及相关设备

权利要求书

1.一种数据清洗方法，其特征在于，包括：

爬取网页数据，并从所述网页数据中提取HTML文本；

删除所述HTML文本中的指定代码块，得到第一文本；

将所述第一文本中的换行标签替换为换行符，得到第二文本；

将所述第二文本中链接标签对应内容中目标属性值以外的部分删除，以保留所述第二文本中的链接，得到包括所述链接的第三文本；

若检测到所述第三文本中的所述链接完整，则删除所述第三文本中除所述链接标签以外的HTML标签和连续的所述换行符，得到对所述网页数据清洗后的目标数据；

若检测到所述第三文本中的所述链接不完整，则获取所述网页数据对应网页的网页链接，若所述网页链接中第二位置对应字段不为第二预设链接字段，则判断所述网页链接中第三位置对应字段是否为第三预设链接字段；若是，则统计所述第三预设链接字段在所述第三文本的链接中出现的次数N，所述N为大于1的整数；从所述网页链接中删除最后N个所述第三预设链接字段前后的指定部分字段，得到基础链接；基于所述基础链接对所述第三文本中的所述链接进行补全处理，以使所述第三文本中的所述链接完整。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

判断所述第三文本中所述链接的第一位置对应的字段是否为第一预设链接字段；

若是，则判断所述第三文本中的所述链接完整；若否，则判断所述第三文本中的所述链接不完整。

3.根据权利要求2所述的方法，其特征在于，所述获取所述网页数据对应网页的网页链接之后，所述方法还包括：

判断所述网页链接中第二位置对应字段是否为第二预设链接字段；

若是，则从所述网页链接中提取网络协议，并基于所述网络协议对所述第三文本中的链接进行补全处理。

4.根据权利要求1所述的方法，其特征在于，所述删除所述HTML文本中的指定代码块，得到第一文本，包括：

将所述HTML文本中与预先建立的过滤字符列表匹配的字符过滤；

从字符过滤后的HTML文本中删除指定代码块，得到第一文本。

5.根据权利要求1所述的数据清洗方法，其特征在于，从所述网页数据中提取HTML文本，包括：

通过正则表达式从所述网页数据中筛选出目标内容数据，并从所述目标内容数据中提取HTML文本。

6.根据权利要求1所述的方法，其特征在于，所述删除所述第三文本中的HTML标签和连续的所述换行符，得到对所述网页数据清洗后的目标数据之后，所述方法还包括：

基于字段处理规则，对所述目标数据中目标类型的字段进行标准化处理。

7.一种数据清洗装置，其特征在于，包括：

获取模块，用于爬取网页数据，并从所述网页数据中提取HTML文本；

处理模块，用于删除所述HTML文本中的指定代码块，得到第一文本；

所述处理模块，还用于将所述第一文本中的换行标签替换为换行符，得到第二文本，将所述第二文本中链接标签对应内容中目标属性值以外的部分删除，以保留所述第二文本中的链接，得到包括所述链接的第三文本；

所述处理模块，还用于若检测到所述第三文本中的所述链接完整，则删除所述第三文本中除所述链接标签以外的HTML标签和连续的所述换行符，得到对所述网页数据清洗后的目标数据；

若检测到所述第三文本中的所述链接不完整，则获取所述网页数据对应网页的网页链接，若所述网页链接中第二位置对应字段不为第二预设链接字段，则判断所述网页链接中第三位置对应字段是否为第三预设链接字段；若是，则统计所述第三预设链接字段在所述第三文本的链接中出现的次数N，所述N为大于1的整数；从所述网页链接中删除最后N个所述第三预设链接字段前后的指定部分字段，得到基础链接；基于所述基础链接对所述第三文本中的所述链接进行补全处理，以使所述第三文本中的所述链接完整。