[发明专利]一种电磁信号通用分布式智能处理分析平台及方法

说明书

本发明公开了一种电磁信号通用分布式智能处理分析平台及方法，设置后端服务模块以及UI前端模块、数据管理模块、节点管理模块、数据接入模块、预处理计算模块、深度学习计算模块；UI前端模块接收任务信息，后端服务模块向节点管理模块申请任务所需资源，节点管理模块进行资源监测及资源分配，后端服务模块向数据接入、预处理计算、深度学习计算三个模块发送任务信息，启动相关任务；各模块根据任务要求进行计算并与数据管理模块交互进行中间过程数据管理及结果数据管理，任务结束后向后端服务模块反馈任务结果；后端服务模块与资源管理、数据管理、UI前端三个模块交互完成资源回收、数据管理和结果展示。本发明具有兼容性好、效率高的优点。

技术领域

本发明属于电磁信号处理技术领域，特别是一种电磁信号通用分布式智能处理分析平台及方法。

背景技术

Hadoop起源于Apache Nutch项目，是Apache Lucene的子项目之一。Hadoop实现了一个分布式文件系统，其中一个组件是HDFS。HDFS有高容错性的特点，通过设计部署在低廉的硬件上，提供高吞吐量以访问应用程序的数据，适用于有超大数据集的应用程序，同时放宽了POSIX的要求，可以以流的形式访问文件系统的数据。

Hadoop是一个能够对大量数据进行分布式处理的软件框架，以一种可靠高效可伸缩的方式进行数据处理，其中可靠性：它假设计算元素和存储会失败，因此维护多个工作数据的副本确保失败节点的重新分布处理；高效性：并行的方式工作，通过并行处理加快处理速度；可伸缩性：能够处理PB级数据。

然而在电磁信号处理领域，目前还没有公开的电磁信号通用分布式智能处理分析平台，比较类似的智能处理分析平台往往借助国外大数据相关开源框架，难以自主控制，兼容性差且效率低。

发明内容

本发明的目的在于提供一种自主可控的电磁信号通用分布式智能处理分析平台及方法，采用轻量级设计思想，自主设计框架，可灵活部署在windows平台和Linux平台。

实现本发明目的的技术解决方案为：一种电磁信号通用分布式智能处理分析平台，包括采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器，其中：

采集服务器：用于采集实时外部数据，部署有数据接入模块；通过数据接入模块实现对实时网络数据的采集、转发和存储；

数据服务器：用于数据存储和数据传递，部署有数据管理模块；通过数据管理模块与其他模块的连接和通信，完成样本数据、标注数据、预处理数据以及推理结果的传递；

常规计算服务器：作为预处理计算执行服务器，部署有预处理计算模块；预处理计算模块用于进行数据的预处理和智能标注，并支持用户自定义的预处理算法的使用，提供多样的处理规则，作为常规计算节点，能够进行水平拓展，实现并行处理计算；

高级计算服务器：作为执行深度学习计算模块的引擎，部署了深度学习计算模块；深度学习计算模块用于进行针对电磁数据的网络训练和推理识别，作为高级计算节点能够进行水平拓展，实现高级计算资源可勾选；

调度服务器：用于对各个节点的资源管控和合理分配进行任务分发，部署有后端服务模块；后端服务模块与UI前端模块、节点管理模块、数据接入模块、数据管理模块、预处理计算模块以及深度学习计算模块进行网络连接和通信；其中UI前端模块部署在调度服务器上，实现提供WEB前端服务的功能；节点管理模块部署在采集服务器、数据服务器、常规计算服务器、高级计算服务器、调度服务器上，用来监测各硬件节点的健康状态、文件同步、远程进程启动关闭这些功能。

进一步地，数据采集分为两种模式：标准采集模式和预处理采集模式；

其中标准采集模式是将采集到的信号数据直接进行本地化存储，预处理采集模式则是根据条件规则先进行筛选，对符合条件的数据进行存储。