[发明专利]一种数据处理服务器系统

说明书

技术领域

本发明属于数据处理技术领域，尤其涉及一种数据处理服务器系统。

背景技术

在服务器数据处理领域，目前都是通过单个或者多个服务器进行同时处理，通过单个服务器处理时单个服务器的处理能力有限，多个服务器时容易造成服务器资源的浪费，这一问题一直没有得到合理解决。目前都是通过人工监控来进行数据处理。

发明内容

为了克服上述现有技术的技术问题，本发明是这样实现的一种数据处理服务器系统，包括数据源服务器、第一数据处理服务器、第二数据处理服务器、备用数据处理服务器以及任务分配服务器，所述任务分配服务器接收所述数据源服务器的数据输入，所述任务分配服务器用于向所述第一数据处理服务器、第二数据处理服务器、备用数据处理服务器提供待处理的源数据；所述数据源服务器通过特定的数据接口根据数据类型、关键词信息获取源数据；并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；所述任务分配服务器接收外界发送的数据，所述任务分配服务器筛选出特定的两种类型的数据并按照数据类别分别发送至第一数据处理服务器、第二数据处理服务器，所述第一数据处理服务器、第二数据处理服务器分别处理一种类型的数据；所述备用数据处理服务器可以处理所述两种类型的数据中的任意一种；所述第一数据处理服务器、第二数据处理服务器将实时的数据处理进度发送至所述任务分配服务器，第二数据处理服务器的数据处理进度，所述任务分配服务器记录至少两个周期内第一数据处理服务器、第二数据处理服务器的数据处理进度，并对比两个周期内第一数据处理服务器、第二数据处理服务器在相同的记录时间点的处理进度，若两个周期内在同一个记录时间点第一数据处理服务器都高于第二数据处理服务器的处理进度，在下一个周期内在该数据记录点所述第二数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器，若两个周期内在同一个记录时间点第二数据处理服务器都高于第一数据处理服务器的处理进度，在下一个周期内该时间记录点所述第一数据处理服务器将接收到的数据发送一半至所述备用数据处理服务器。

作为本发明中的一种改进，所述两种类型的数据根据需要进行设定。

作为本发明中的一种改进，所述数据接口包括网络数据库、数据搜索引擎。

作为本发明中的一种改进，在所述第一数据处理服务器、第二数据处理服务器连续工作时间未满48小时内，当所述第一数据处理服务器、第二数据处理服务器中的一个的数据处理进度低于30％时，该数据处理进度低于30％的服务器将接受到的数据的一半发送至所述备用数据处理服务器。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明数据处理服务器系统框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现进行详细描述。

结合附图1，本发明实施例提供了一种数据处理服务器系统，其包括数据源服务器、第一数据处理服务器、第二数据处理服务器、备用数据处理服务器以及任务分配服务器，所述任务分配服务器接收所述数据源服务器的数据输入，所述任务分配服务器用于向所述第一数据处理服务器、第二数据处理服务器、备用数据处理服务器提供待处理的源数据；所述数据源服务器通过特定的数据接口根据数据类型、关键词信息获取源数据；并对源数据进行预处理，所述数据预处理服务器的预处理操作为对缺损数据进行修复，删除无用数据；所述缺损数据为与数据类型库中数据后缀名称近似度超过设定阈值的数据，修复缺损数据的方式为根据数据类型库中的具体数据后缀作为所述缺损数据的后缀替换掉原有的数据后缀；所述无用数据为与数据类型库中数据后缀名称近似度低于设定阈值的数据；其中数据类型的近似度根据数据的后缀名称的字符的数量进行量化；

所述任务分配服务器接收外界发送的数据，所述任务分配服务器筛选出特定的两种类型的数据并按照数据类别分别发送至第一数据处理服务器、第二数据处理服务器，所述第一数据处理服务器、第二数据处理服务器分别处理一种类型的数据；所述备用数据处理服务器可以处理所述两种类型的数据中的任意一种；