[发明专利]基于高速环境下的高可用无损失数据采集存储系统

说明书

技术领域

本发明涉及信息采集及分析技术领域，具体是基于高速环境下的高可用无损失数据采集存储系统。

背景技术

在数据采集系统运行过程，需要将系统运行的参数、状态等信息记录下来，以供将来对系统的状态进行分析。军方数据采集系统运行于野外机载设备，主要运行野外，外界环境恶劣，不但需要面对各种自然界各种复杂环境，而且由于系统设备处于运动环境，还需要面对颠簸等各种突发状况。

目前采用双机备份的技术来保证数据采集的高可靠性，双机备份包括采集过程的备份以及后台数据的备份，当前后台数据库备份技术已经成熟，只需利用合理的数据库技术，就可以达到数据库引擎以及数据库存储的备份目的；而采集过程备份由于各系统应用目的不同，目前设计采用双采集热备份系统的架构相对较少，尤其是还没有实现在双备份采集系统中，系统采集数据能够无损地切换的算法和架构。

中国专利CN201610959821.7揭示了设计一种集成化高可靠高精度长期监测系统，包括两个换流采编单元、两个综合控制器、交换机、两个监控计算机、解决了系统设备组成复杂、精度低、长期可靠性不足的问题，实现了系统高可靠、高精度以及长期监测的功能，该发明采用硬件上双机备份，达到高可靠的目的，但是该系统主要采用硬件备份达到高可靠目的，没有解决在双机切换过程中的数据丢失问题。

发明内容

本发明的目的在于提供一种精度高、可靠性好的基于高速环境下的高可用无损失数据采集存储系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

基于高速环境下的高可用无损失数据采集存储系统，包括客户端采集模块、服务器端模块和后台数据库，所述服务器端模块包括服务器端主模块和服务器端从模块，所述后台数据库连接有数据库引擎系统，所述数据库引擎系统包括数据库主引擎系统和数据库从引擎系统，所述客户端采集模块通过主连接端口连接服务器端主模块的输入端，服务器端主模块的输出端通过所述数据库主引擎系统连接后台数据库，所述客户端采集模块通过从连接端口连接服务器端从模块的输入端，服务器端从模块的输出端通过所述数据库从引擎系统连接后台数据库。

作为本发明进一步的方案：所述客户端采集模块采用静态编译技术、高速缓存技术和异步编程技术。

作为本发明再进一步的方案：所述客户端采集模块包括数据采集模块、数据发送模块和发送后数据回收模块，所述数据采集模块底层读取采集的数据，将采集的数据插入发送缓存队列尾部，并通知数据发送模块发送，所述数据发送模块为无限循环发送处理线程，连接当前服务器端主模块，采用异步非阻塞方式发送网络数据；所述发送后数据回收模块为回调函数模块，当发送数据完成后，由底层操作系统调用本函数模块。

与现有技术相比，本发明的有益效果是：

本发明中客户端采集模块负责采集系统的结构化以及非结构化数据，本发明能够在高流量以及突发巨大流量的环境下(突发流量10K包/s及10MB/s)，将数据高稳定、高可靠地发送到服务器端模块，同时保证服务器端主模块和服务器端从模块切换过程中的异常情况下，将采集数据无损的转发到后台数据库。

附图说明

图1为本发明的结构示意图。

图2为本发明中客户端采集模块的结构示意图。

具体实施方式

下面结合具体实施方式对本专利的技术方案作进一步详细地说明。