[发明专利]用于从文档语料库中生成概念的系统和方法

说明书

公开了用于从文档语料库中生成概念的系统和方法。在一个实施例中，一种用于从文档中生成概念的方法包括：检索存储在第一词典内的多个术语。所述方法进一步包括：针对存储在所述第一词典内的单独术语，确定所述术语在所述文档语料库内的第一频率，并且确定所述术语在包括多个对比文档的对比文档语料库内的第二频率，其中，所述对比文档语料库不同于所述文档语料库。所述方法进一步包括：针对所述第一词典内的单独术语，确定所述第一频率与所述第二频率之间的差，将所述第一频率与所述第二频率之间的所述差与比较度量指标进行比较，并且当所述第一频率与所述第二频率之间的所述差满足所述比较度量指标时，将所述术语作为概念存储在第二词典内。

相关申请的交叉引用

本申请要求于2015年4月21日提交的美国临时申请62/150,404的优先权，所述临时申请的全部内容通过引用结合在此。

背景技术

技术领域

本文中所提供的实施例总体上涉及通过在文档语料库内提取讨论的内容来提高搜索功能以及文档搜索、文档索引和其他任务的效率，并且更具体地涉及从文档语料库中提取的更大词典中生成概念以便提高用户执行的函数的准确度。

技术背景

随着电子系统将文档和其他数据转换成电子形式，许多已经被转换的文档被编入索引以促进搜索、检索和/或其他功能。例如，文档语料库中的法律文档(如法院判决、案情摘要、提议等)可以被存储并编入索引以供用户以电子方式访问。由于不同的法律文档可以包括关于不同司法管辖区的不同法律点，因此那些文档可以被相应地编入索引并组织。

很多很多概念可以在文档语料库内讨论。根据文档语料库的一般主题(例如，法律、科学、医疗等)，可能存在在文档语料库内具有显著重要性的概念的子集。揭开这些重要概念可以改进例如计算机化文档索引、文档搜索和其他功能。

因此，存在对用于从文档语料库中提取重要概念的系统和方法的需要。

发明内容

在一个实施例中，一种用于从包括多个文档的文档语料库中生成概念的由计算机实现的方法包括：使用处理设备检索存储在第一词典内的多个术语。所述方法进一步包括：针对存储在所述第一词典内的所述多个术语中的单独术语，使用所述处理设备确定所述术语在所述文档语料库内的第一频率，并且使用所述处理设备确定所述术语在包括多个对比文档的对比文档语料库内的第二频率，其中，所述对比文档语料库不同于所述文档语料库。所述方法进一步包括，针对存储在所述第一词典中的所述多个术语中的单独术语：使用所述处理设备确定所述第一频率与所述第二频率之间的差，使用所述处理设备将所述第一频率与所述第二频率之间的所述差与比较度量指标进行比较，并且当所述第一频率与所述第二频率之间的所述差满足所述比较度量指标时，将所述术语作为概念存储在非暂态计算机可读介质中所存储的第二词典内。

在另一个实施例中，一种用于从包括多个文档的文档语料库中生成概念的系统包括：至少一个处理设备；以及至少一个非暂态计算机可读介质，存储有计算机可读指令，所述指令当被所述至少一个处理设备执行时使得所述至少一个处理设备检索存储在所述至少一个非暂态计算机可读介质中的第一词典内的多个术语。所述计算机可读指令进一步使得所述至少一个处理设备针对存储在所述第一词典内的所述多个术语中的单独术语：确定所述术语在所述文档语料库内的第一频率；确定所述术语在包括多个对比文档的对比文档语料库内的第二频率，其中，所述对比文档语料库不同于所述文档语料库；确定所述第一频率与所述第二频率之间的差；将所述第一频率与所述第二频率之间的所述差与比较度量指标进行比较；以及当所述第一频率与所述第二频率之间的所述差满足所述比较度量指标时，将所述术语作为概念存储在所述至少一个非暂态计算机可读介质中所存储的第二词典内。