[发明专利]一种数据采集方法、装置、客户端及系统

说明书

本发明公开一种数据采集方法、装置、客户端及系统，应用于临床源数据采集，包括：向服务器端发送采集临床源数据的请求，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目由采集的临床源数据的数据量确定；将预处理后的数据转换为预定格式的目标数据。能够对医院生产系统保存的大量临床数据进行整合。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据采集方法、装置、客户端及系统。

背景技术

医院生产系统保存有患者在医院进行疾病诊断时的临床数据。临床数据包括：医嘱数据、病历数据、检验数据、心电数据、超声数据以及病理数据等等。

医院生产系统保存的临床数据的数据量很大，但是，现有技术并没有对这些临床数据进行整合，因此，这些临床数据并不能为医生进行疾病诊断提供有效的辅助支持。

发明内容

为了解决现有技术中存在的以上技术问题，本发明提供一种数据采集方法、装置、客户端及系统，能够对医院生产系统保存的大量临床数据进行整合。

本发明提供一种数据采集方法，应用于临床源数据采集，包括：

向服务器端发送采集临床源数据的请求，并接收服务器端返回的允许进行临床源数据采集的响应；所述服务器端为医院生产系统；

利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据；所述第一数目根据预先设置时间确定；

利用第二数目MAP并行将采集的临床源数据进行分块预处理；所述第二数目由采集的临床源数据的数据量确定；

将预处理后的数据转换为预定格式的目标数据。

优选地，利用第一数目MAP在预先设置时间并行从所述服务器端采集临床源数据，具体包括：

根据所述预先设置时间对应的数据集数目确定所述第一数目；所述预先设置时间不同对应的数据集数目不同；

根据所述数据集数目和所述第一数目随机为每个MAP分配相应的数据集；

所述每个MAP根据分配的相应数据集从所述服务器端采集临床源数据。

优选地，利用第二数目MAP并行将采集的临床源数据进行分块预处理，具体包括：

根据所述采集的临床源数据的数据量确定所述第二数目；

将所述采集的临床源数据分割为所述第二数目个源数据块；一个所述源数据块对应一个MAP；

每个MAP将对应的源数据块中的临床源数据进行排序，并利用所述MAP对应的MAP-Reduce模型中的Reduce对所有MAP处理后的数据进行合并。

优选地，所述将预处理后的数据转换为预定格式的目标数据，具体包括：

将预处理后的数据中的字段转换为预定义编码规则的字段，将转换后的字段按照预定顺序生成目标数据；

根据患者的ID将所述目标数据中同一ID患者的多条目标数据合并为一条目标数据。

优选地，还包括：

为每个患者的所述目标数据生成对应的唯一编码，将所述唯一编码与患者的ID形成映射；

根据所述唯一编码保存每个患者的所述目标数据。

优选地，还包括：

保存所述采集的临床源数据作为备份数据。