[发明专利]通用记录处理方法、装置、电子设备及存储介质

说明书

本申请公开了通用记录处理方法、装置、电子设备及存储介质，涉及云计算技术领域。具体实现方案为：识别原始记录的表头样式；基于表头样式从原始记录中抽取出记录行；将原始记录中的原始字段与预设的标准字段进行匹配；在抽取出的记录行中，用匹配成功的标准字段代替对应的原始字段，生成通用记录文本。本申请实施例能够自动化解析记录，并进行记录字段标准化处理，提供统一的标准格式的记录数据，可大幅提升处理效率，节省人力资源。

技术领域

本申请涉及一种计算机技术领域，尤其涉及一种信息处理技术领域。

背景技术

目前的应用平台的数据通常来自不同的数据源，数据兼容性差、难以统一。例如，目前的大宗商品交易平台，普通通过规定不同类别商品货源数据的标准模板，并强制要求用户按规范填写表格，来获取标准化的货源数据。大宗商品交易平台希望能以相对标准的方式获取供货商的货源数据，但是每个供货商都有自己的数据模版，难以统一。对大宗商品交易平台的用户来说，原有货源数据已经按照特定格式存储，重新进行格式转换或标准化成本较高，导致平台使用门槛较高。如果由交易平台负责，为每个新的货源数据模板投入人力进行手工数据格式转换或编写数据格式转换工具，则引入大量重复工作，是对人力的浪费。综上，采用传统方式为每个数据源建立数据模板对照表，业务人员工作量巨大，存在重复工作、效率低的缺陷。

发明内容

本申请实施例提出一种通用记录处理方法、装置、电子设备及存储介质，以至少解决现有技术中的以上技术问题。

第一方面，本申请实施例提供了一种通用记录处理方法，包括：

识别原始记录的表头样式；

基于表头样式从原始记录中抽取出记录行；

将原始记录中的原始字段与预设的标准字段进行匹配；

在抽取出的记录行中，用匹配成功的标准字段代替对应的原始字段，生成通用记录文本。

本申请实施例中，能够自动化解析记录，并进行记录字段标准化处理，提供统一的标准格式的记录数据，可大幅提升处理效率，节省人力资源。

在一种实施方式中，识别原始记录的表头样式，包括：

确定原始记录的表头行范围；

在表头行范围内，将每个记录行中的目标字段与预设的表头关键词相匹配；

在记录行中的所有目标字段均与对应的表头关键词匹配成功的情况下，确定记录行精确匹配成功；

将精确匹配成功的记录行作为表头行。

本申请实施例中，通过精确匹配识别表头样式，是进行表格记录批量定位的重要环节，为后续抽取记录的步骤提供定位依据。

在一种实施方式中，所述方法还包括：

在表头行范围内的记录行精确匹配不成功的情况下，计算第一匹配度混合指标，第一匹配度混合指标是每个记录行中的目标字段与预设的表头关键词的匹配度混合指标；

在记录行中的所有目标字段均与对应的表头关键词的第一匹配度混合指标大于等于第一预设阈值的情况下，确定记录行模糊匹配成功；

将模糊匹配成功的记录行作为表头行。

本申请实施例中，通过模糊匹配识别表头样式，提高了容错能力，对于规范性较差的数据也能达到较好的识别效果。

在一种实施方式中，基于表头样式从原始记录中抽取出记录行，包括：

将原始记录中的有效列数据对应的列序号分布作为记录规则；

根据记录规则和表头样式从原始记录中抽取出记录行。