[发明专利]数据提取的方法及装置

权利要求书

1.一种数据提取的方法，其特征在于，所述方法包括：

对数据进行预处理，获得位置在前的第一数据和位置在后的第二数据；

计算所述第一数据和所述第二数据的相似度；

若所述第一数据和所述第二数据的相似度满足预设的相似度阈值，则删除位置在后的所述第二数据；

保留位置在前的所述第一数据，获得摘要信息。

2.根据权利要求1所述的方法，其特征在于，所述数据包括文本数据、图片数据及视频数据。

3.根据权利要求2所述的方法，其特征在于，所述数据为文本数据，所述对数据进行预处理，获得位置在前的第一数据和位置在后的第二数据，包括：

对所述文本数据进行分词处理，获得先后相邻的两个语句；

所述计算所述第一数据和所述第二数据的相似度，包括：

通过最大公共子序列LCS算法计算所述先后相邻的两个语句的相似度；

所述若所述第一数据和所述第二数据的相似度满足预设的相似度阈值，则删除位置在后的所述第二数据，包括：

若所述先后相邻的两个语句的相似度大于λ_T，则删除位置在后的语句。

4.根据权利要求3所述的方法，其特征在于，所述通过最大公共子序列LCS算法计算所述先后相邻的两个语句的相似度，包括：

基于同义词库对所述先后相邻的两个语句的相似度进行模糊匹配。

5.根据权利要求2所述的方法，其特征在于，所述数据为图片数据，所述对数据进行预处理，获得位置在前的第一数据和位置在后的第二数据，包括：

按照预设的特征值对图片数据进行分类，获得多个图片集合；

针对每个图片集合，从中反复抽取任意两张图片；

所述计算所述第一数据和所述第二数据的相似度，包括：

通过颜色直方图计算抽取的两张图片的相似度；

所述若所述第一数据和所述第二数据的相似度满足预设的相似度阈值，则删除位置在后的所述第二数据，包括：

若两张图片的相似度大于λ_U，则删除位置在后的图片。

6.根据权利要求2所述的方法，其特征在于，所述数据为视频数据，所述对数据进行预处理，获得位置在前的第一数据和位置在后的第二数据，包括：

对所述视频数据进行帧分割，获得视频帧序列；

从所述视频帧序列中抽取任意相邻的两个视频帧；

所述计算所述第一数据和所述第二数据的相似度，包括：

通过帧差法计算所述两个视频帧的相似度；

所述若所述第一数据和所述第二数据的相似度满足预设的相似度阈值，则删除位置在后的所述第二数据，包括：

若两相邻视频帧的相似度大于λ_V，则删除位置在后的视频帧。

7.根据权利要求1所述的方法，其特征在于，在所述保留位置在前的所述第一数据，获得摘要信息之后，所述方法进一步包括：

将所述摘要信息与标准摘要信息进行比对，获得所述摘要信息是否准确的评估结果；

若所述摘要信息的准确度未达到预设要求，则对所述相似度阈值进行调整；

基于调整后的相似度阈值对再次进行相似度计算。

8.根据权利要求7所述的方法，其特征在于，所述将所述摘要信息与标准摘要信息进行比对，获得所述摘要信息是否准确的评估结果，包括：

将所述摘要信息和所述标准摘要信息分别转化为第一语义序列和第二语义序列；

计算所述第一语义序列和所述第二语义序列的最大公共子序列；

计算所述最大公共子序列与所述第二语义序列的比值；

若所述比值达到预设比例阈值，则确定所述摘要信息的准确度达到预设要求。

9.根据权利要求1至8中任一项所述的方法，其特征在于，所述数据为节日主题数据。

10.一种数据提取的装置，其特征在于，所述装置包括：

处理单元，用于对数据进行预处理，获得位置在前的第一数据和位置在后的第二数据；

计算单元，用于计算所述处理单元获得的所述第一数据和所述第二数据的相似度；

删除单元，用于当所述计算单元计算的所述第一数据和所述第二数据的相似度满足预设的相似度阈值时，删除位置在后的所述第二数据，保留位置在前的所述第一数据，获得摘要信息。