[发明专利]基于输血大数据的多维度智能数据清洗方法及系统

权利要求书

1.基于输血大数据的多维度智能数据清洗方法，其特征在于，包括：

获取患者的唯一标识和治疗数据，所述治疗数据包括该患者的输血数据；

根据所述唯一标识清洗所述治疗数据，得到目标数据；

输出所述目标数据,并获取修正规则及聚类规则；

根据所述修正规则修正所述目标数据；

根据所述聚类规则对修正后的所述目标数据中的文本数据进行聚类，得到最终数据。

2.根据权利要求1所述的基于输血大数据的多维度智能数据清洗方法，其特征在于，所述获取患者的治疗数据的具体方法为：

确定数据库；

定义数据抽取规则并形成数据表；

根据所述数据抽取规则由所述数据库中抽取源数据并映射到所述数据表中，得到所述治疗数据。

3.根据权利要求2所述的基于输血大数据的多维度智能数据清洗方法，其特征在于，所述根据所述数据抽取规则由所述数据库中抽取源数据并映射到所述数据表中之后，还包括：

对所述数据表中字段进行特征衍生。

4.根据权利要求1所述的基于输血大数据的多维度智能数据清洗方法，其特征在于，所述根据所述唯一标识清洗所述治疗数据具体包括：

提取所述治疗数据中不规则数据进行规则化替换，生成结构数据；

根据所述唯一标识，合并所述结构数据中相同所述唯一标识数据，删除所述唯一标识下重复数据。

5.根据权利要求1所述的基于输血大数据的多维度智能数据清洗方法，其特征在于，所述输出所述目标数据具体包括：

输出所述目标数据中各字段中数据缺失情况；

输出所述目标数据中各字段中数据分布情况。

6.根据权利要求5所述的基于输血大数据的多维度智能数据清洗方法，其特征在于，所述输出所述目标数据中各字段中数据缺失情况具体包括：

提取所述目标数据中各所述字段的数据个数；

绘制字段-数据个数条形图，做可视输出。

7.根据权利要求5所述的基于输血大数据的多维度智能数据清洗方法，其特征在于，所述输出所述目标数据中各字段中数据分布情况具体包括：

将各所述字段对应值进行等额分组，计算每组的数值频率；

绘制数值-频率直方图；

连接各组数值直方图中值对应的点构成光滑的曲线，做可视输出。

8.根据权利要求1所述的基于输血大数据的多维度智能数据清洗方法，其特征在于，所述获取修正规则具体包括：

所述目标数据中异常值判别规则和处理规则以及所述目标数据中缺失值的填补规则。

9.根据权利要求8所述的基于输血大数据的多维度智能数据清洗方法，其特征在于，所述目标数据中缺失值的填补规则具体为：

计算所述目标数据中某一字段缺失数值占该字段总数百分比，如果百分比大于最大阈值，则删除所述字段；

如果百分比小于最大阈值大于最小阈值，使用0、该字段数值平均数或众数填补所述缺失值；

如果百分比小于最小阈值，使用随机森林回归填补所述缺失值。

10.基于输血大数据的多维度智能数据清洗系统，其特征在于，包括：

数据获取模块，用于获取患者的唯一标识和治疗数据，所述治疗数据包括该患者的输血数据；

数据清洗模块，用于根据所述唯一标识清洗所述治疗数据，得到目标数据；

交互模块，用于输出所述目标数据，并获取修正规则及聚类规则；

修正模块，用于根据所述修正规则修正所述目标数据；

聚类模块，用于根据所述聚类规则对修正后的所述目标数据中的文本数据进行聚类，得到最终数据。