[发明专利]数据处理方法、装置及系统

说明书

本说明书一个或多个实施例公开了一种数据处理方法、装置及系统，用以实现数据处理的准实时性，从而提高数据处理效率、减轻系统压力。所述方法包括：接收第一设备发送的事件发生消息，所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息；根据所述事件发生消息及预设的事件标准化规则，生成所述第一事件的事件标准化信息；根据所述事件标准化信息对所述第一事件进行相应的处理。

技术领域

本说明书涉及数据处理技术领域，尤其涉及一种数据处理方法、装置及系统。

背景技术

流动性管理本质上是一种数据驱动的管理方法，例如，从纷繁复杂的业务数据、银行流水、金融市场数据等中计算分析出流动性风险状况，从而反应出金融机构的流动性水平以及风险状况。以金融业务为例，一般而言，一个完整的金融软件IT设施由超过几十个、甚至上千个系统组成。如此多的系统，就会产生非常多的异构化数据，如订单形象、交易信息、客户信息、账务信息等，而这些异构化数据正是流动性管理的数据来源，这就对流动性管理造成了极大的挑战。

传统的流动性管理决策系统大多采用数据库同步的方式，即在T+N(N>＝1)日将各个系统T日的数据同步到数据仓库环境中进行分析，如图1所示。图1所示的流动性数据分析方法存在如下问题：首先，由于数据的异构性，流动性模型在分析决策前，需要对数据的ETL(Extract-Transform-Load)工作，成本较大；其次，由于数据同步是在T+N日获取的T日数据，因此数据的时效性比较差，只能用作事后分析使用，无法精细化管控前端业务；再次，批量数据的同步会对数据库造成不小的压力，在数据库资源紧张时，甚至可能影响到数据库在线的OLTP(On-Line Transaction Processing，联机事务处理过程)的能力。

发明内容

本说明书一个或多个实施例的目的是提供一种数据处理方法、装置及系统，用以实现数据处理的准实时性，从而提高数据处理效率、减轻系统压力。

为解决上述技术问题，本说明书一个或多个实施例是这样实现的：

一方面，本说明书一个或多个实施例提供一种数据处理方法，应用于数据处理系统，包括：

接收第一设备发送的事件发生消息，所述事件发生消息包括发生的第一事件的源文件和/或所述源文件的标识信息；

根据所述事件发生消息及预设的事件标准化规则，生成所述第一事件的事件标准化信息；

根据所述事件标准化信息对所述第一事件进行相应的处理。

在一个实施例中，所述根据所述事件发生消息及预设的事件标准化规则，生成所述第一事件的事件标准化信息，包括：

根据所述事件发生消息获取所述第一事件的源文件；

从所述源文件中获取所述第一事件中的指定信息；

按照预设组合规则组合所述指定信息，得到所述第一事件的事件标准化信息。

在一个实施例中，所述事件标准化规则包括：

确定所述数据处理系统所处理的各事件中均具有的、且经所述预设组合规则组合后具有相同结构的信息；将确定的所述信息作为事件的指定信息。

在一个实施例中，所述指定信息包括事件名称、事件码、事件状态、事件属性码、事件属性名称、事件属性值、事件属性值类型中的至少一项。

在一个实施例中，当所述事件发生消息包括所述源文件的标识信息时，所述根据所述事件发生消息获取所述第一事件的源文件，包括：

向所述第一设备发送用于获取所述源文件的、携带有所述标识信息的获取请求；

接收所述第一设备响应于所述获取请求发送的所述第一事件的源文件。