[发明专利]正则表达式的生成方法及基于正则表达式的数据提取方法

说明书

本发明提供了一种正则表达式的生成方法及基于正则表达式的数据提取方法。其中，该正则表达式的生成方法包括：确定原始数据字符串中待提取字段和非待提取字段；针对非待提取字段，进行通配过滤获得其正则表达式，针对待提取字段，遍历字符串将字符与表达式一一对应获得其正则表达式；将待提取字段的正则表达式和非待提取字段的正则表达式，按照待提取字段和非待提取字段在原始数据字符串中的排列顺序进行合并，以获得原始数据的正则表达式。通过本发明，可减少了正则表达式的书写难度，提升数据提取效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种正则表达式的生成方法及基于正则表达式的数据提取方法。

背景技术

在现有的数据提取技术，利用正则表达式提取是较为常用的方式。在数据提取的实现过程中，需要编写人员根据数据样例，手动编写正则表达式。

然而，正则表达式语义晦涩，需要编写人员具备非常专业的技巧，编写完毕后，还要用新的数据验证正则表达式。一个擅长正则表达式的熟练工，做完这个流程，往往仍需要几十分钟，甚至几个小时。编写正则表达式花费编写人员非常多的时间和精力，这也造成利用正则表达式从原始数据中提取数据工作效率低下。

针对相关技术中正则表达式需要人工编写，难度大耗时久，进而影响数据处理效率的问题，目前尚未提出有效的解决方案。

发明内容

本发明的目的是提供一种正则表达式的生成方法、基于正则表达式的数据提取方法、装置、计算机设备和存储介质，用于解决现有技术中正则表达式需要人工编写，难度大耗时久，进而影响数据处理效率的问题。

根据本发明实施例的一个方面，为实现上述目的，本发明提供了一种正则表达式的生成方法。

该正则表达式的生成方法包括：确定原始数据字符串中待提取字段和非待提取字段；针对非待提取字段，进行通配过滤获得其正则表达式，针对待提取字段，遍历字符串将字符与表达式一一对应获得其正则表达式；将待提取字段的正则表达式和非待提取字段的正则表达式，按照待提取字段和非待提取字段在原始数据字符串中的排列顺序进行合并，以获得原始数据的正则表达式。

进一步地，针对非待提取字段，进行通配过滤获得其正则表达式，针对待提取字段，遍历字符串将字符与表达式一一对应获得其正则表达式，包括：根据确定的待提取字段判断原始数据字符串是否属于特殊样例；若判定原始数据字符串不属于特殊样例，针对每个非待提取字段，获取该非待提取字段后面相邻位置的待提取字段的前面一个字符，作为对该非待提取字段的分隔字符T进行通配过滤获得包含[^T]和T形式的正则表达式；针对每个待提取字段，遍历字符串将字符与表达式一一对应获得其正则表达，其中，数字0至9对应表达式\d，单词字符对应\w，特殊字符在前面位置加上转义字符\或\\。

进一步地，根据确定的待提取字段判断原始数据字符串是否属于特殊样例，包括：判断待提取字段前后字符是否均为特殊字符，若否，判定属于特殊样例；和/或，判断待提取字段前后字符是否相邻，若否，判定属于特殊样例。

进一步地，在待提取字段前后字符不均为特殊字符时，方法包括：以首个非待提取字段最后一个字符作为起始位置，逐个字符往前搜寻，将第一个搜寻到的特殊字符作为分隔字符T，将首个非待提取字段中第一个搜寻到的特殊字符之前的剩余字段进行通配过滤获得包含[^T]和T形式的正则表达式；统计首个非待提取字段中第一个搜寻到的特殊字符与后面相邻位置的首个待提取字段之间的非特殊字符的字符数量n，生成对应的正则表达式为\w{n}；针对两个待提取字段之间的非待提取字段，从该非待提取字段第一个字符作为起始位置，逐个字符往后搜寻，将第一个搜寻到的特殊字符作为分隔字符T，将该非待提取字段中第一个搜寻到的特殊字符之后的剩余字段进行通配过滤获得包含[^T]和T形式的正则表达式；统计两个待提取字段之间的非待提取字段中第一个搜寻到的特殊字符与前面相邻位置的待提取字段之间的非特殊字符的字符数量m，生成对应的正则表达式为\w{m}。