[发明专利]一种航运及贸易数据的高频产品关键词及词组展示系统

权利要求书

1.一种航运及贸易数据的高频产品关键词及词组展示系统，其特征在于，包括：

数据更新单元，自动通过邮箱获取客户提供的非结构型的文本数据，并将获取的数据传递至系统中，并使用清洗单元对数据进行整理；

清洗单元，用于获取原始航运及贸易数据，并将获取的数据清洗，基于清洗后的数据构建基本数据库；

高频产品关键词及词组挖掘单元，用于对历史数据进行分词处理，进行词频统计并计算出权重，提取出高频产品关键词及词组作为词库，再对更新数据进行分词处理，留取名词和词组，进行词频统计，对比词库获取权重较大的词和词组，并作词频排序，基于权重和阈值的对比，筛选结果；

存储单元，用于存储高频产品关键词及词组挖掘单元挖掘的结果；

可视化单元，用于将高频产品关键词及词组以日、月、年为单位，绘制不同的可视化图形报表。

2.根据权利要求1所述的航运及贸易数据的高频产品关键词及词组展示系统，其特征在于，获取的原始航运及贸易数据，将其非结构型数据转换成结构性数据利用SQL视图方法清洗数据。

3.根据权利要求1所述的航运及贸易数据的高频产品关键词及词组展示系统，其特征在于，所述高频产品关键词及词组挖掘单元使用基于隐马尔科夫模型的词性标注获得最大概率词性，具体地，

使用基于隐马尔科夫模型的词性标注，对英文标注词性语料使用HMM模型得到一个HMM链：

获得HMM链对历史数据分词进行此行判断，获得最大概率词性，将名词性最大概率单词筛选出来并获得该词前后相关的词组。

4.一种航运及贸易数据的高频产品关键词及词组展示系统，其特征在于，包括如下步骤：

获取原始航运及贸易数据；

将获取的非结构型数据转换成结构性数据，利用SQL视图方法清洗数据，清洗后构建成基本数据库；

对历史数据进行分词处理，留取名词和词组，剔除停用词和无意义词；进行词频统计并计算出权重，提取出高频产品关键词及词组作为词库；再对更新数据进行分词处理，留取名词和词组，进行词频统计，对比词库获取权重较大的词和词组，并作词频排序，基于预设的阈值，筛选结果；

将输出的数据进行可视化处理。

5.根据权利要求1所述的航运及贸易数据的高频产品关键词及词组展示系统，其特征在于，所述将输出的数据进行可视化处理前，还包括如下步骤：重新构造数据源为结构性数据和计算出的高频产品关键词及词组数据存储至sql server数据库中，使用sql的视图进行规范性的清洗，重构数据库的数据存入hadoop分布式系统中，作为可视化网站的后台数据库。