[发明专利]一种基于Spark-Streaming的文本相似性分析的数据处理方法和装置

说明书

本发明提供了一种基于Spark‑Streaming的文本相似性分析的数据处理方法和装置，涉及计算机技术领域，所述方法包括：动态获得实时文本数据库；根据实时文本数据库，获得第一文本信息，获得第二文本信息；获得文本长度相似性信息；获得文本词序相似性信息；获得文本关键词相似性信息；获得文本语法相似性信息；根据所述文本长度相似性信息、所述文本词序相似性信息、所述文本关键词相似性信息、所述文本语法相似性信息，确定所述第一文本信息与所述第二文本信息的语句相似度。解决了现有技术中无法实现对实时网络数据流快速、准确的情感分析的技术问题。达到了基于大数据平台，实现对海量文本进行多维度、实时的、准确的文本相似性的技术效果。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于Spark-Streaming的文本相似性分析的数据处理方法和装置。

背景技术

现有技术中常用的计算平台中的数据具有海量性、实时性和动态变化性的特点，所以数据平台的处理任务大小也具备动态变化特征，同样企业中对于数据流计算的查询也是动态变化的。

但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：

现有技术无法实现对实时网络数据流进行快速、准确、全面的相似性分析的技术问题。

发明内容

本发明实施例提供了一种基于Spark-Streaming的文本相似性分析的数据处理方法和装置，解决了现有技术中无法实现对实时网络数据流快速、准确的情感分析的技术问题。

鉴于上述问题，提出了本申请实施例以便提供一种基于Spark-Streaming的文本相似性分析的数据处理方法和装置。

第一方面，本发明提供了一种基于Spark-Streaming的文本相似性分析的数据处理方法，所述方法包括：根据Spark-Streaming动态获得实时文本数据库；根据所述实时文本数据库，获得第一文本信息，所述第一文本信息包括第一文本长度信息、第一文本词序信息、第一文本关键词信息、第一文本语法信息；根据所述实时文本数据库，获得第二文本信息，所述第二文本信息包括第二文本长度信息、第二文本词序信息、第二文本关键词信息、第二文本语法信息；根据所述第一文本长度信息、所述第二文本长度信息，获得文本长度相似性信息；根据所述第一文本词序信息、所述第二文本词序信息，获得文本词序相似性信息；根据所述第一文本关键词信息、所述第二文本关键词信息，获得文本关键词相似性信息；根据所述第一文本语法信息、所述第二文本语法信息，获得文本语法相似性信息；根据所述文本长度相似性信息、所述文本词序相似性信息、所述文本关键词相似性信息、所述文本语法相似性信息，确定所述第一文本信息与所述第二文本信息的语句相似度。

结合第一方面，在第一方面的第一种可能的实现方式中，根据所述第一文本信息，获得第一词语集合；根据所述第二文本信息，获得第二词语集合；根据所述第一词语集合、所述第二词语集合，获得公共词信息；根据所述第一词语集合，获得第一权重值信息；根据所述第二词语集合，获得第二权重值信息；根据所述公共词信息、所述第一权重值信息、所述第二权重值信息，获得公共词权重值信息；根据所述公共词信息、所述公共词权重值信息，获得所述文本关键词相似性信息。

结合第一方面的第一种可能的实现方式，在第一方面的第二种可能的实现方式中，在根据所述第一文本信息，获得第一词语集合；根据所述第一文本信息，获得第一词语集合之前，所述方法还包括：如果所述第一文本信息和/或所述第二文本信息为长文本信息，根据所述第一文本信息，提取第一摘要信息；和/或根据所述第二文本信息，提取第二摘要信息；根据所述第一摘要信息，获得第一语句信息；根据所述第二摘要信息，获得第二语句信息。