[发明专利]在正则表达式代码上使用最长通用子序列算法的正则表达式生成

说明书

本文公开的是与正则表达式的自动生成相关的技术。在一些实施例中，正则表达式生成器可以接收包括一个或多个字符序列的输入数据。正则表达式生成器可以将字符序列转换成正则表达式代码和/或跨度数据结构的集合。正则表达式生成器可以标识由正则表达式代码和/或跨度的集合共享的最长通用子序列，并且可以基于最长通用子序列来生成正则表达式。

相关申请交叉引用

本申请根据35U.S.C.§119(e)要求于2018年6月13日提交的、题为“AUTOMATEDGENERATION OF REGULAR EXPRESSIONS”的美国临时专利申请号62/684,498的优先权，并且本申请还根据35U.S.C.§119(e)要求于2018年10月22日提交的、题为“AUTOMATEDGENERATION OF REGULAR EXPRESSIONS”的美国临时专利申请号62/749,001的优先权。美国临时专利申请号62/684,498和62/749,001的全部内容通过引用合并于此以供用于所有目的。

背景技术

大数据分析系统可用于预测性分析、用户行为分析和其他高级数据分析。然而，在有效执行任何数据分析以提供有用结果之前，可能需要将初始数据集格式化为干净和精选的数据集。这种数据加载通常给基于云的数据存储库和其他大数据系统带来挑战，在这些系统中，来自各种不同数据源和/或数据流的数据可以被编译到单个数据存储库中。这种数据可以包括以多种不同格式的结构化数据、根据不同数据模型的半结构化数据、甚至非结构化数据。这种数据的存储库通常包括各种不同格式和结构的数据表示，并且还可以包括重复数据和错误数据。在分析这些数据存储库以进行报告、预测性建模和其他分析任务时，初始数据集的较差信噪比可能会导致不准确或无用的结果。

对数据格式化和预处理问题的许多当前解决方案包括手动和ad hoc处理以清理和整理数据，以便在执行数据分析之前将数据处理成通用格式。虽然这些手动过程对于某些较小的数据集可能是有效的，但是当试图对大规模数据集进行预处理和格式化时，这样的过程可能效率低下且不切实际。

发明内容

本文描述的各方面提供了用于生成正则表达式的各种技术。如本文所使用的，“正则表达式”可指定义模式的字符序列，其可用于在较长的输入文本串内搜索匹配。在一些实施例中，可以使用符号通配符匹配语言来组成正则表达式，并且由正则表达式定义的模式可以用于匹配字符串和/或从作为输入提供的字符串中提取信息。在本文描述的各种实施例中，实现为数据处理系统的正则表达式生成器可用于接收和显示输入文本数据，经由客户端用户界面接收对输入文本的特定字符子集的选择，然后基于所选择的字符子集生成一个或多个正则表达式。在生成一个或多个正则表达式之后，可以使用正则表达式引擎来将正则表达式的模式与一个或多个数据集进行匹配。在各种实施例中，与正则表达式匹配的数据可以被提取、重新格式化或修改等等。在一些情况下，可以基于与正则表达式匹配的数据来创建附加的列、表或其他数据集。

根据本文描述的某些方面，经由数据处理系统实现的正则表达式生成器可以基于由一个或多个正则表达式代码的不同集合共享的所确定的最长通用子序列(LCS)来生成正则表达式。正则表达式代码(也可以称为类别代码)可以包括，例如，L代表英文字母表中的字母，N代表数字，Z代表空格，P代表标点符号，以及S代表其他符号。一个或多个正则表达式代码的每个集合可以从作为输入数据通过用户界面接收的一个或多个字符的不同序列转换。从LCS中排除的正则表达式代码可以被表示为可选的和/或备选的。在一些实施例中，正则表达式代码可以与该正则表达式代码的最小出现次数相关联。附加地或备选地，正则表达式代码可以与正则表达式代码的最大出现次数相关联。例如，类别代码集合可以包括L0，1，以指示LCS的特定部分包括字母最多一次(如果有的话)。如下面更详细讨论的，将输入数据概括为中间正则表达式代码(IREC)可以提供各种技术优势，包括使用非常少的输入数据，使得能够近乎即时地生成不被尚未看到的数据中的假阳性匹配或假阴性匹配影响的正则表达式。