[发明专利]一种基于深度学习的工程造价数据智能解析方法及系统

说明书

本发明涉及一种基于深度学习的工程造价数据智能解析方法及系统，通过提取待解析表格中的数据得到待解析数据集；采用机器学习模型对待解析数据集进行表头分类得到若干表头分类数据集；以及，采用机器学习模型对每一表头分类数据集进行列分类，封装得到列分类数据集；对列分类数据集进行组装得到并返回标准JSON数据结构。本发明中，机器学习模型可依据表头、列数据、单元格数据等，对不规范的表格及数据进行识别、分类与清洗，提取得到标准化的标准JSON数据结构。相较传统的人工识别分类方式或人工编写的固定分类模型，机器学习模型具有极高的智能性与自动化程度，且随着处理数据量的增长，机器学习模型的分类准确率与处理效率将越来越高。

技术领域

本发明涉及数据标准化技术领域，尤其涉及一种基于深度学习的工程造价数据智能解析方法及系统。

背景技术

Excel是一款适配于多种终端设备与操作系统的电子表格软件，可编辑生成xls或者xlsx数据格式的表格文件，因其泛用性而被普遍应用在业务流程中进行数据记录。在多部门、多节点协同的业务中，需要对大量表格文件进行汇总以进行数据统计工作，为了确保数据的准确性并提高工作效率，通常会向各部门下发对应于业务类型的标准表格供工作人员进行填写。

而在工程造价领域，由于数据来源繁杂，各部门的工作人员常会在编辑过程中改动标准表格(例如改动表头名称、sheet页名称、日期时间格式等)，造成汇总时录入系统无法正常识别业务数据，此时需要对业务数据进行返工修改，造成工作进度延误；此外，在对历史数据表格进行统一录入时，同样需要对历史数据表格中的格式进行标准化修改，工作量巨大。可见，数据表格的标准化问题难以避免，若依靠人工进行数据清洗、数据标准化，其工作量巨大且效率低下。

发明内容

本发明的目的是解决现有技术的不足，提供了一种基于深度学习的工程造价数据智能解析方法及系统。

本发明实施例的第一方面提供了一种基于深度学习的工程造价数据智能解析方法，包括：

提取待解析表格中的数据，得到待解析数据集；

采用机器学习模型对所述待解析数据集进行表头分类，得到若干表头分类数据集；

采用机器学习模型对每一所述表头分类数据集进行列分类，封装得到列分类数据集；

对所述列分类数据集进行组装，得到标准JSON数据结构；

返回所述标准JSON数据结构。

作为一种可选的实施方式，在本发明实施例的第一方面中，所述采用机器学习对所述待解析数据集进行表头分类，得到表头分类数据集，包括：

提取每一所述待解析数据集中的表头字符及分划符号；

基于所述表头字符对所述待解析数据集进行一次分类，得到若干中间数据集；

基于所述分划符号对所述若干中间数据集进行二次分类，得到若干所述表头分类数据集，其中，每一所述表头分类数据集中数据的表头及分划符号一致。

作为一种可选的实施方式，在本发明实施例的第一方面中，采用机器学习模型对每一所述表头分类数据集进行列分类，封装得到列分类数据集，包括：

检测每一所述表头分类数据集的读取范围；

基于所述读取范围逐行读取每一所述表头分类数据集的行数据；

基于所述读取范围逐列读取每一所述表头分类数据集中每列所包含的单元格数据；

封装所述行数据及所述单元格数据，得到所述列分类数据集。

作为一种可选的实施方式，在本发明实施例的第一方面中，所述基于所述列分类数据集进行组装，得到标准JSON数据结构，包括：