[发明专利]一种航运及贸易数据的高频产品关键词及词组展示系统

摘要

本发明提供一种航运及贸易数据的高频产品关键词及词组展示系统及方法。本发明包括获取原始航运及贸易数据；将获取的非结构型数据转换成结构性数据，利用SQL视图方法清洗数据，清洗后构建成基本数据库；对历史数据进行分词处理，留取名词和词组，剔除停用词和无意义词；进行词频统计并计算出权重，提取出高频产品关键词及词组作为词库；再对更新数据进行分词处理，留取名词和词组，进行词频统计，对比词库获取权重较大的词和词组，并作词频排序，基于预设的阈值，得到筛选结果；将输出的数据进行可视化处理。本发明整体流程快速、高效，并且其可作为一个可扩展系统呈现，可嵌入系统使用，又可以单独使用，本发明可在数据分析领域广泛使用。