[发明专利]数据解析方法、装置、计算机设备和可读存储介质

说明书

本发明提供了一种数据解析方法、装置、计算机设备和可读存储介质。该方法包括获取待解析表格图片；将待解析表格图片识别为表格文件，得到初始表格文件；根据预配置的解析模板解析初始表格文件，以得到若干条数据记录；将数据记录写入标准表格文件；以及将标准表格文件与历史记录库进行匹配，以确定新增数据记录或修改数据记录；根据新增数据记录或修改数据记录更新历史记录库，得到待解析表格图片对应的数据记录库。通过本发明，能够实现表格数据的自动解析。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据解析方法、装置、计算机设备和可读存储介质。

背景技术

在建筑材料信息领域，全国各省市地区每月需要发布材料信息数据的表格，涉及到全国30多个省，600多个地区的信息价格，并且发布的方式多样，有PDF、网页、纸质、电子表格等多种形式，其中，以纸质形式进行发布占比高达48％。为了实现数据的统一汇总、存储以及处理等，需要将各种形式的表格数据统一为电子数据，目前，在实现电子数据的统一时，可技术化手段较低，大部分操作方式还停留在人工录入的模式，导致在此项工作上花费的人力及时间成本较高。

因此，如何实现表格数据的自动解析，成为本领域亟需解决的技术问题。

发明内容

本发明的目的是提供一种数据解析方法、装置、计算机设备和可读存储介质，用于解决现有技术中的上述技术问题。

一方面，为实现上述目的，本发明提供了一种数据解析方法。

该数据解析方法包括：获取待解析表格图片；将待解析表格图片识别为表格文件，得到初始表格文件；根据预配置的解析模板解析初始表格文件，以得到若干条数据记录；将数据记录写入标准表格文件；以及将标准表格文件与历史记录库进行匹配，以确定新增数据记录或修改数据记录；根据新增数据记录或修改数据记录更新历史记录库，得到待解析表格图片对应的数据记录库。

进一步地，待解析表格图片包括若干类表格，根据预配置的解析模板解析初始表格文件，以得到若干条数据记录的步骤包括：获取解析模板列表，其中，解析模板列表包括解析模板所解析的表格的标题；读取初始表格文件中一行内容得到行文本；判断解析模板列表中是否存在与行文本匹配的标题；若不存在，根据当前解析模板将行文本解析为一条数据记录，并将解析得到的数据记录写入标准表格文件；若存在，将匹配的标题对应的解析模板作为当前解析模板。

进一步地，数据记录包括若干字段，解析模板包括用于解析每个字段的解析规则，根据当前解析模板将行文本解析为一条数据记录的步骤包括：根据解析模板中的解析规则从行文本中提取对应的字段内容；根据从行文本中提取到的所有字段内容构建数据记录。

进一步地，数据记录包括第一字段和第二字段，根据当前解析模板将行文本解析为一条数据记录的步骤还包括：当根据第一字段对应的解析规则从行文本中提取不到字段内容时，根据相邻数据记录中的第一字段的字段内容构建数据记录，其中，相邻数据记录为根据初始表格文件中上一行内容得到的数据记录；当根据第二字段对应的解析规则从行文本中提取出第二字段的字段内容时，对提取出的第二字段的字段内容进行校验，并在校验合法时，根据从第二字段的字段内容构建数据记录。

进一步地，将标准表格文件与历史记录库进行匹配，以确定新增数据记录或修改数据记录的步骤包括：将标准表格文件中的数据记录与历史记录库中的历史记录进行匹配；当数据记录在历史记录库中没有匹配到历史记录时，确定数据记录为新增数据记录；当数据记录在历史记录库中匹配到历史记录，且被匹配到的历史记录与数据记录唯一匹配时，计算数据记录与被匹配到的历史记录的第一相似度，当第一相似度不超过预设相似度阈值时，确定数据记录为对被匹配到的历史记录的修改数据记录；以及当两条或两条以上数据记录在历史记录库中匹配到同一条历史记录时，计算各条数据记录与同一条历史记录的相似度并获取最大的第二相似度，当第二相似度不超过预设相似度阈值时，确定第二相似度对应的数据记录为对同一条历史记录的修改数据记录。