[发明专利]一种基于Web的数据集成方法和系统

说明书

技术领域

本发明涉及一种数据集成方法及系统，特别涉及一种基于Web的数据集成的方法及系统。

背景技术

目前银行的一项业务数据操作往往涉及多个系统，工作人员在进行业务数据操作时，需要分别从不同的系统获取数据并对这些数据进行分析。目前各个系统的接口分别单独开发，其开发的总周期长，开发的成本高，且需要对各个系统的接口分别管理，其管理的成本也很高。另外，目前这些系统大都采用人工操作，不仅费时、费力，且由于系统较多，每个系统的操作规则不尽相同，对多个系统操作时容易出错。

发明内容

为了解决上述技术问题，本发明提供了一种能够自动集成基于web的系统数据且不易出错的数据集成方法。

本发明提供的基于Web的数据集成方法，包括以下步骤：

(1)读取并解析目标web的配置文件以从中提取访问所述目标web所需的信息；

(2)模拟用户端IE浏览器而向所述目标web发送符合http或https协议的访问请求报文以访问所述目标web；

(3)获取响应于所述访问请求报文而返回的web资源，使用预先定义的正则表达式检索所述web资源，提取需要的参数和文本资源，所述文本资源包括文本；

(4)对从步骤(3)得到的多种数据进行排序、运算和/或合并处理以得到集成数据；

(5)对所述集成数据进行整合及结构化显示。

作为优选，所述步骤(1)具体包括：从所述配置文件中提取用于访问所述目标web的链接地址。

作为优选，在所述步骤(3)中的所述文本资源还包括文本段，则所述步骤(3)还包括对所述文本段进行语义分析以进一步提取符合要求的数据并组装成具有预定结构的数据。

作为优选，在步骤(4)之后，还需继续访问下一目标web则重复步骤(1)至(4)，结束对目标web的访问则进行步骤(5)。

本发明还提供了一种基于Web的数据集成系统，包括：

配置模块，其读取并解析目标web的配置文件以从中提取访问所述目标web所需的信息；

模拟访问模块，模拟用户端IE浏览器而向所述目标web发送符合http或https协议的访问请求报文以访问所述目标web；

语义分析模块，其对响应于所述访问请求报文而返回的web资源使用预先定义的正则表达式进行检索，提取需要的参数和文本资源，所述文本资源包括文本；

逻辑处理模块，其对经所述语义分析模块处理得到的多种数据进行排序、运算和/或合并处理以得到集成数据；

控制模块，与所述配置模块、语义分析模块及逻辑处理模块松耦合，为所述配置模块、语义分析模块及逻辑处理模块提供运行环境并控制数据集成的流程；

数据呈现模块，其对所述集成数据进行整合并进行结构化显示。

作为优选，所述配置模块从目标web的配置文件中的提取的访问所述目标web所述的信息为对应所述web的链接地址。

作为优选，所述文本资源还包括文本段，则所述语义分析模块进一步用于分析所述文本段以从中提取符合要求的数据并组装成具有预定结构的数据。

本发明所述的基于web的数据集成方法和系统具有以下有益效果：本发明提供的基于web的数据集成系统将web语义分析用于例如银行内部的数据集成，具有轻量级、易实施的特点，可广泛应用于新航的CMS-客户管理系统，网上银行管理系统、存款报表管理系统、网银收费系统，电子银行部关键绩效指标KPI系统、收付账务部的40000-8000机器人系统等多个系统，解决了人工集成数据操作费时费力且容易出错的问题。

附图说明

图1为目标web配置类结构图；

图2为目标web访问类结构图；

图3为目标web的配置文件结构图；

图4为本发明一个实施例的基于web的数据集成方法的流程图；

图5为本发明一个实施例的基于web的数据集成系统的结构图。

具体实施方式

图1为目标web配置类结构图，图2为目标web访问类结构图，图3为目标web的配置文件结构图，图4为本发明一个实施例的基于web的数据集成方法的流程图。如图4所示，本发明提供的基于web的数据集成方法，包括以下步骤：

第(1)步骤：确定所需整合的目标web，开始访问目标web，获取目标web的核心配置，目标web的配置以XML的格式存储，目标Web配置类的结构如图1所示。