[发明专利]数据采集及处理的系统及方法

说明书

本发明提供了一种数据采集及处理方法，包括：自远程数据库获得计算所需求的业务数据，并存储到非关系内存数据库中相应的数据存储单元；采集用户端口中与业务数据相关的业务信息，并对该业务信息进行暂存和计算；将上述业务信息的计算结果存储到非关系内存数据库中相应的数据存储单元；定期将非关系内存数据库中更新的数据同步回传到远程数据库；从而在进行大量数据处理时，可直接与非关系内存数据库进行通讯，而不需要与远程数据库通讯，性能得到了最大的优化。

技术领域

本发明涉及一种计算机及通信领域数据采集及处理的系统及方法，尤其涉及一种利用非关系内存数据库的数据采集及处理的系统和方法。

背景技术

对于传统的业务处理方式，特别是需要处理大量并行数据的业务，常常需要从远程数据库中下载数据，再从内存中检索处理指令，再在运算器中进行计算。这会导致数据来回次数过多，导致计算速度减缓。而且这种业务处理方式需要与网络数据实时连通，若网络环境不稳定，则会影响当前业务。

因此，有必要提供一种改进的数据采集及处理的系统和方法以解决上述问题。

发明内容

本发明的目的在于提供一种高效稳定的数据采集及处理的系统和方法。

为实现上述目的，本发明提供了一种数据采集及处理方法，其特征在于，所述数据采集及处理方法包括如下步骤：

S1、自远程数据库获得计算所需求的业务数据，并存储到非关系内存数据库中相应的数据存储单元；

S2、采集用户端口与S1步骤中业务数据相关的业务信息，并对该业务信息进行暂存和计算；

S3、将上述业务信息的计算结果存储到非关系内存数据库中相应的数据存储单元；

S4、定期将非关系内存数据库中更新的数据同步回传到远程数据库;

若干个所述数据存储单元在非关系内存数据库中呈一定顺序排列，所述业务数据与对应的业务信息的计算结果都存储于相应的数据存储单元中;

上述计算结果及业务数据均有特定的定义格式，所述定义格式为4字节记录总数+4字节变更版本号+（8字节主键+1字节记录类型+记录内容+md5校验）*n。

作为本发明的进一步改进，所述业务数据、与之相对应的业务信息的计算结果以及对应的数据存储单元具有相同的主键，在S1及S3步骤中进行存储操作时，将上述业务信息的计算结果及业务数据存储到非关系内存数据库中相应的数据存储单元。

作为本发明的进一步改进，所述S2步骤具体为：

S21、监听用户端口，进行业务信息的接收及回发；

S22、分析业务信息，抛弃业务信息中无效的部分并将剩余有效部分拆分成不同的指令数据；

S23、获取指令数据，并根据指令数据的类型依次处理；

S24、针对不同的指令数据进行不同的逻辑运算。

作为本发明的进一步改进，所述数据采集及处理方法还包括对S1至S4步骤同步进行监控，所述监控为逐层的软件监控，对S1至S4步骤的运行信息同步进行监控，并在运行异常时，对相应步骤进行重启。

为实现上述目的，本发明提供了一种数据采集及处理系统，其特征在于，所述数据采集及处理系统包括：

远程数据库，用以存储数据；

采集单元，设置有若干个采集子单元，每个采集子单元包括采集线程，用以采集用户端口的业务信息，处理线程，用以对采集到的业务信息进行计算，存储线程，用以暂存计算后的数据；