[发明专利]一种针对半结构化大数据的提取统计方法及系统

摘要

本发明涉及一种针对半结构化大数据的提取统计方法及系统，属于大数据提取统计领域，解决了对半结构化大数据提取统计时过程比较繁琐和容易造成数据冗余的问题。本发明通过提供客户端让用户输入针对半结构化大数据进行提取和统计的操作语句，将操作语句同步到解析转换模块，解析转换模块对操作语句进行解析并将解析结果转换成配置规则；客户端调用应用引擎模块根据配置规则生成作业任务，将作业任务提交到底层框架；底层框架将作业任务拆分成多个子任务分配到集群上执行，并将执行后获取的结果数据返回给客户端展示给用户。用于提高对半结构化大数据的提取统计的可维护性和自动化可视化水平，减少数据冗余，简便可靠。