[发明专利]数据采集及处理的系统及方法

权利要求书

1.一种数据采集及处理方法，其特征在于，所述数据采集及处理方法包括如下步骤：

S1、自远程数据库获得计算所需求的业务数据，并存储到非关系内存数据库中相应的数据存储单元；

S2、采集用户端口与S1步骤中业务数据相关的业务信息，并对该业务信息进行暂存和计算；

S3、将上述业务信息的计算结果存储到非关系内存数据库中相应的数据存储单元；

S4、定期将非关系内存数据库中更新的数据同步回传到远程数据库;

若干个所述数据存储单元在非关系内存数据库中呈一定顺序排列，所述业务数据与对应的业务信息的计算结果都存储于相应的数据存储单元中;

上述计算结果及业务数据均有特定的定义格式，所述定义格式为4字节记录总数+4字节变更版本号+（8字节主键+1字节记录类型+记录内容+md5校验）*n。

2.根据权利要求1所述的数据采集及处理方法，其特征在于，所述业务数据、与之相对应的业务信息的计算结果以及对应的数据存储单元具有相同的主键，在S1及S3步骤中进行存储操作时，将上述业务信息的计算结果及业务数据存储到非关系内存数据库中相应的数据存储单元。

3.根据权利要求1所述的数据采集及处理方法，其特征在于，所述S2步骤具体为：

S21、监听用户端口，进行业务信息的接收及回发；

S22、分析业务信息，抛弃业务信息中无效的部分并将剩余有效部分拆分成不同的指令数据；

S23、获取指令数据，并根据指令数据的类型依次处理；

S24、针对不同的指令数据进行不同的逻辑运算。

4.根据权利要求1，所述数据采集及处理方法还包括对S1至S4步骤同步进行监控，所述监控为逐层的软件监控，对S1至S4步骤的运行信息同步进行监控，并在运行异常时，对相应步骤进行重启。

5.一种数据采集及处理系统，其特征在于，所述数据采集及处理系统包括：

远程数据库，用以存储数据；

采集单元，设置有若干个采集子单元，每个采集子单元包括采集线程，用以采集用户端口的业务信息，处理线程，用以对采集到的业务信息进行计算，存储线程，用以暂存计算后的数据；

非关系内存数据库，包括若干个数据存储单元，用以存储从远程数据库中获取的计算需要的业务数据以及所述业务信息的计算结果；

同步单元，用以连接远程数据库和非关系内存数据库，使非关系内存数据库通过该同步单元自远程数据库中获得计算需要的业务数据，同时定期将非关系内存数据库汇总的更新数据同步回传到远程数据库;

所述数据存储单元在非关系内存数据库中呈一定顺序排列，所述业务数据及对应的业务信息的计算结果都存储于相应的数据存储单元;

业务信息的计算结果及业务数据均有特定的定义格式，所述定义格式为4字节记录总数+4字节变更版本号+（8字节主键+1字节记录类型+记录内容+md5校验）*n。

6.根据权利要求5所述的数据采集及处理系统，其特征在于，所述业务数据、与之相对应的业务信息的计算结果，以及对应的数据存储单元具有相同的主键，在非关系内存数据库中进行存储操作时，将业务信息的计算结果及业务数据存储到相应的数据存储单元。

7.根据权利要求5所述的数据采集及处理系统，其特征在于，所述采集及处理线程包括：

接收发送线程，用以监听用户端口，进行业务信息的接收及回发；

用户接口，用以分析业务信息，抛弃业务信息中无效的部分并将剩余有效部分拆分成不同的指令数据，

指令待处理队列，用以获取指令数据，再发送给用户接口，则用户接口针对不同的指令数据进行不同的逻辑运算。

8.根据权利要求5，所述数据采集及处理系统还包括监控远程数据库、采集单元、非关系内存数据库、同步单元的监控单元，所述监控单元为逐层的软件监控，对运行信息同步进行监控，并在数据异常时，对上述远程数据库、非关系内存数据库、采集单元及同步单元进行重启，其中所述监控单元对采集单元的监控具体包括有：

管理员监控，连接采集单元和用户端口，人工重启所述采集单元和用户端口；

监控程序监控，连接数据采集子单元，所述数据采集子单元的内存用量超过设置范围或者所述采集子单元汇报情况超时时，自动重启采集子单元或者采集子单元的监控单元；

采集子单元监控，连接采集线程以及处理线程，自动重启超过响应时间限制值的所述采集线程和处理线程；

终端监控，连接终端，若长时间没有数据来往，或者多次发送数据无法成功，自动断开终端连接，等待终端自动重连。