[发明专利]一种健康医疗数据的预处理方法及系统

说明书

本发明公开了一种健康医疗数据的预处理方法及系统，该方法包括以下步骤：将原始体检数据保存为数据框形式，体检信息保存为字符串格式，生成体检行表；删除行表中重复的体检数据；为每个体检人员设定身份唯一码；若体检编号缺失，则根据身份唯一码和体检日期生成唯一体检编号；若体检时间缺失，则将同一次体检下的最早体检时间补齐到缺失体检时间处；同一体检编号下一定时间阈值内的体检数据视为一次体检；将体检数据中代表体检项目名称的列名用第一连字符合并在一起；将每项体检的结果、参考范围、量纲用第二连字符合并在一起；将行表形式的体检数据转化为列表。本发明将不规范的原始数据规范化，有助于医疗大数据规范治理工作的进行。

技术领域

本发明属于数据治理技术领域，具体涉及一种健康医疗数据的预处理方法及系统。

背景技术

随着医疗信息化的不断推进，医疗健康产业在大数据技术的支持下，对医疗资源高效整合和调整，具备巨大潜力。然而在真实世界中，数据常常出现不完整，结构复杂，信息冗余等问题。这些低质量的数据将导致数据治理的难度加大，因此需要一套完善的用于规范原始医疗数据的方法流程。这将大大提高数据的质量，数据治理的效率及医疗数据信息化的进展。

目前健康大数据产业快速发展，而医疗数据的预处理尚无流程规范。不规范的原始数据无疑将降低包括人工及机器算法对数据治理的效率。数据预处理就是解决上面所提到的数据问题的可靠方法。

发明内容

本发明的目的在于，提供一种健康医疗数据的预处理方法及系统，将不规范的原始数据规范化，提高数据的质量和数据治理的效率。

本发明提供一种健康医疗数据的预处理方法，包括以下步骤：

将原始体检数据保存为数据框形式，体检信息保存为字符串格式，生成体检行表，每行包括体检编号、体检时间、体检项目和体检结果；

删除行表中重复的体检数据；

为每个体检人员设定身份唯一码；

若体检编号缺失，则根据身份唯一码和体检日期生成唯一体检编号；

若体检时间缺失，则将同一次体检下的最早体检时间补齐到缺失体检时间处；同一体检编号下一定时间阈值内的体检数据视为一次体检；

将体检数据中代表体检项目名称的列名用第一连字符合并在一起；

将每项体检的结果、参考范围、量纲用第二连字符合并在一起；

将行表形式的体检数据转化为列表。

进一步地，行表转化为列表时，体检结果、参考范围、量纲分离存储。

进一步地，根据身份证号、性别、电话号码、职业、居住地、身高信息进行逻辑判断身份唯一性，生成身份唯一码。

进一步地，行表转化为列表后，列名按照医疗信息规律进行排序，然后人工审核并矫正数据。

进一步地，第一连字符为“|”。

进一步地，体检结果、参考范围、量纲合并在一起表示形式为：体检结果||||[参考范围]量纲。

进一步地，若体检结果为空，则体检结果、参考范围、量纲合并在一起表示为“NA”。

进一步地，将原始体检数据读取入R软件保存为数据框形式。

进一步地，生成体检行表之前，删除体检医生、检验仪器、体检地点。

本发明还提供一种用于实现上述健康医疗数据的预处理方法的健康医疗数据的预处理系统，包括：

行表生成模块，用于将原始体检数据保存为数据框形式，体检信息保存为字符串格式，生成体检行表，每行包括体检编号、体检时间、体检项目和体检结果；