[发明专利]一种社区管理服务大数据处理系统及其处理方法

说明书

技术领域

本发明涉及大数据处理分析，特别是涉及针对社区管理服务的大数据处理系统及方法。

背景技术

社区管理是社会治理的细胞，是国家治理体系和治理能力现代化建设的重要基础。互联网尤其是移动互联网在社区管理服务中的广泛应用，以及社交网络、智慧城市等新型信息源的不断涌现，催生了多源、动态、海量、异构的社区管理服务大数据。

目前主流的大数据计算方法为开源分布式计算平台Hadoop，其核心为分布式文件系统HDFS与编程模型MapReduce。虽然Mapreduce擅长处理半结构化数据与结构化数据，然而针对特定需求的数据处理任务效率低下，面对社区管理服务大数据对时效性要求高的问题尚未形成良好的解决办法，也没有形成完整的冗余数据集成机制，为开发社区管理服务大数据的潜在价值带来了不便。

发明内容

本发明是为了克服现有技术存在的不足之处，提供一种社区管理服务大数据处理系统及其处理方法，以期能形成面向社区管理服务的半结构化数据和结构化数据的采集机制，针对具有不同时效性的社区管理服务大数据形成高效的存储机制，为解决社区管理服务大数据冗余性高的问题形成完整的集成机制，从而提升社区管理服务大数据的处理效率。

本发明为达到上述目的所采用的技术方案是：

本发明一种社区管理服务大数据处理系统的特点包括：社区管理服务数据库、数据收集系统和数据集成系统；

所述数据收集系统包括半结构化数据采集模块和结构化数据采集模块；所述半结构化数据采集模块用于对社区管理服务的HTML格式数据进行定向采集，获得半结构化数据；所述结构化数据采集模块对社区管理服务数据库的数据进行定向采集，获得结构化数据；

所述数据集成系统包括数据转换模块和数据融合模块；所述数据转换模块将所述半结构化数据转换为新结构化数据，所述数据融合模块对结构化数据和新结构化数据进行基于关键字的整合处理，获得社区管理服务的结构化数据。

本发明一种社区管理服务大数据处理系统的处理方法的特点是按如下步骤进行：

步骤1、获得半结构化数据并进行存储；

步骤1.1、构建用于临时存储半结构化数据的XML模板文档；

步骤1.2、利用筛选器对社区管理服务的HTML格式数据进行解析并定向抓取；获得半结构化数据；将所述半结构化数据存入所述XML模板文档中；

步骤2、获得长期存储数据并进行存储；

步骤2.1、对社区管理服务数据库中的任意长期存储数据进行定向采集，获得第v个长期结构化数据，记为表示所述第v个长期结构化数据A_v中第i个的元素；1≤i≤n；1≤v≤V；V表示所述长期存储数据的总数；

步骤2.2、创建用于存储所述第v个长期结构化数据A_v的第一数据链栈与第二数据链栈

步骤2.3、根据所述第v个长期结构化数据A_v的生成时间将所述第v个长期结构化数据A_v依次存入所述第一数据链栈并用元素属性Date来表示所述第v个长期结构化数据A_v的生成时间，记为表示所述第v个长期结构化数据A_v中第i个的元素的生成时间；

步骤2.4、初始化i＝1；则所述第一数据链栈中第i个元素表示栈顶元素；

步骤2.5、令指针指向所述第i个元素

步骤2.6、将所述第i个元素的生成时间与时间阈值A进行比较；在所述第i个元素生成时间大于所述时间阈值A时，取出所述第i个元素并压入到所述第二数据链栈中；并将i+1赋给i后，返回步骤2.5顺序执行；从而利用所述第二数据链栈完成长期存储数据的存储；并形成第v个长期存储数据表，进而获得V个长期存储数据表；

步骤3、获得临时存储数据并进行存储；

步骤3.1、根据设定周期对所述社区管理服务数据库中的临时存储数据进行定向采集，获得临时结构化数据；

步骤3.2、创建容量为S的队列Queue1；

步骤3.3、将所述临时存储数据压入所述队列Queue1；

步骤3.4、用元素数据Data来表示存放在所述社区管理服务数据库中的其他临时存储数据；