[发明专利]一种基于大数据应用的短文本信息检索系统

摘要

本发明涉及信息检索领域，具体为一种基于大数据应用的短文本信息检索系统，包括分类采集系统和短文本预处理模块，所述分类采集系统的输出端信号连接词段预处理模块的输入端，词段预处理模块输出的词段依次经过词段拆分模块和词段分集模块处理后，将拆分词关联集合的数据传输到共享数据库中，本发明功能涉及合理，在大数据的数据基础上，对检索词段进行统计和处理，在进行短文本信息检索时，将短文本合理拆分和组合，经过词段逆推得出词频，由词频的大小进行信息输出，很大程度上简化了检索系统的负担，并且实现了快速的对比，在大数据的实时更新状态下，能够提高信息检索的时效性，并且避免了数据的检索遗漏。

主权项

一种基于大数据应用的短文本信息检索系统，其特征在于：包括分类采集系统和短文本预处理模块，所述分类采集系统的输出端信号连接词段预处理模块的输入端，词段预处理模块输出的词段依次经过词段拆分模块和词段分集模块处理后，分别放入到拆分词关联集合中，词段拆分模块上设置词频统计模块，将拆分词关联集合的数据传输到共享数据库中，并将拆分词关联集合的数据生成镜像保存到储存数据库中，所述短文本预处理模块的信号输出端连接短文本拆分、组合模块的输入端，短文本拆分、组合模块的输出端与文本传输模块的输入端连接，文本传输模块的输出端信号连接在对比检索模块的一个输入端上，对比检索模块的另一个输入端与共享数据库的信号输出端连接，且对比检索模块的输出端信号连接文本收集模块，所述文本收集模块的输出端按照词频的大小排列输出到文本排列模块，文本排列模块的输出端通过信号连接在词段逆推模块的输入端并输出。