[发明专利]基于经济领域数据的分布式提取及可视化分析方法和系统

权利要求书

1.基于经济领域数据的分布式提取及可视化分析方法，其特征在于，包括：

分布式数据提取步骤：后端服务器接收用户提取大数据的指令并发送给主节点，主节点根据接收到的指令按照任务的某个或多个字段维度将提取数据的大任务切分成小任务，并将小任务分配给不同的处理节点，处理节点根据分配的小任务向全文检索系统发起请求，主节点将生成的小任务存储到数据库中，并在运行过程中同步任务的状态；

分布式存储步骤：处理节点将全文检索系统返回的数据集存入数据库集群中；

分布式计算和分析步骤：后台服务端接收用户的指令并根据其从数据库集群中加载需要的数据集，然后过滤数据、分析数据和统计分析，然后把结果集写入数据库集群中;

数据加载和缓存步骤：后台服务端接收客户端加载数据的请求后，根据请求从数据库中读取任务的相关元数据，创建内存表，根据参数并从数据库集群中加载数据到内存表中，加载完成后反馈结果；

结果可视化展示步骤：将数据通过图表等直观的展现方式呈现出来。

2.根据权利要求1所述的基于经济领域数据的分布式提取及可视化分析方法，其特征在于，所述分布式数据提取步骤中，生成的小任务按照一定比例赋予任务的优先级，任务优先级越高越优先运行，相同等级的任务按照FIFO先到先得调度策略执行，根据处理节点的配置参数，将优先级不同的任务按比例分给不同的处理节点；处理节点的接收线程接收到任务后，调度线程使用优先级调度、FIFO调度和公平调度相结合的调度算法将接收到的任务加入任务队列中，根据任务的参数执行提取数据操作并接收数据。

3.根据权利要求1或2所述的基于经济领域数据的分布式提取及可视化分析方法，其特征在于，所述分布式计算和分析步骤中，在接收到用户带有查询参数的分析任务指令后，根据表字段和实体字段的映射关系解析参数并拼接组装成sql查询语句。

4.根据权利要求1或2所述的基于经济领域数据的分布式提取及可视化分析方法，其特征在于，所述可视化展示步骤中，通过前端按需加载的方式请求当前阶段需要的数据，并通过前端缓存机制将已请求的数据进行缓存。

5.根据权利要求1或2所述的基于经济领域数据的分布式提取及可视化分析方法，其特征在于，所述可视化展示步骤，包括以下细分步骤，

根据用户拖拽分析字段到维度或数值轴的指令向后台发送请求获取该字段对应的数据；

获取到数据后以表格的形式显示；

根据维度轴字段的个数和数值轴字段的个数进行判断并展示出可以选择的图表类型；

根据用户的选择的图表类型显示该类型的可配置参数，根据用户配置的参数生成图表并予以显示。

6.基于经济领域数据的分布式提取及可视化分析系统，其特征在于，包括：

分布式数据提取模块：用于接收用户提取大数据的指令并发送给主节点，主节点根据接收到的指令按照任务的某个或多个字段维度将提取数据的大任务切分成小任务，并将小任务分配给不同的处理节点，处理节点根据分配的小任务向全文检索系统发起请求，主节点将生成的小任务存储到数据库中，并在运行过程中同步任务的状态；

分布式数据存储模块：用于将全文检索系统返回的数据集存入数据库集群中；

分布式数据计算和分析模块：用于接收用户的指令并根据其从数据库集群中加载需要的数据集，然后过滤数据、分析数据和统计分析，然后把结果集写入数据库集群中；

数据加载和缓存模块：用于接收客户端加载数据的请求后，根据请求从数据库中读取任务的相关元数据，创建内存表，根据参数并从数据库集群中加载数据到内存表中，加载完成后反馈结果;

结果可视化展示模块：用于将数据通过图表等直观的展现方式呈现出来。

7.根据权利要求6所述的基于经济领域数据的分布式提取及可视化分析系统，其特征在于，所述分布式数据提取模块中，生成的小任务按照一定比例赋予任务的优先级，任务优先级越高越优先运行，相同等级的任务按照FIFO先到先得调度策略执行，根据处理节点的配置参数，将优先级不同的任务按比例分给不同的处理节点；处理节点的接收线程接收到任务后，调度线程使用优先级调度、FIFO调度和公平调度相结合的调度算法将接收到的任务加入任务队列中，根据任务的参数执行提取数据操作并接收数据。