[发明专利]一种航运及贸易数据的高频产品关键词及词组展示系统

说明书

本发明提供一种航运及贸易数据的高频产品关键词及词组展示系统及方法。本发明包括获取原始航运及贸易数据；将获取的非结构型数据转换成结构性数据，利用SQL视图方法清洗数据，清洗后构建成基本数据库；对历史数据进行分词处理，留取名词和词组，剔除停用词和无意义词；进行词频统计并计算出权重，提取出高频产品关键词及词组作为词库；再对更新数据进行分词处理，留取名词和词组，进行词频统计，对比词库获取权重较大的词和词组，并作词频排序，基于预设的阈值，得到筛选结果；将输出的数据进行可视化处理。本发明整体流程快速、高效，并且其可作为一个可扩展系统呈现，可嵌入系统使用，又可以单独使用，本发明可在数据分析领域广泛使用。

技术领域

本发明涉及文本处理技术领域、自然语言处理技术领域，尤其涉及一种航运及贸易数据的高频产品关键词及词组展示系统。

背景技术

高频产品关键词及词组是基于产品名称的词或词组出现的次数，它能反映一个时间段内该产品的关注度及需求度。日更新的高频产品关键词及词组，对于国际贸易产业的研究有重要意义，有助于国家机关及相关企业，做出科学决策，精准施策。并且，对于贸易公司的产品竞争力的研究也有重要的帮助，也可以为更多投身于国际贸易的工作人员，在产品推销和市场开发上提供强有力的依据。

发明内容

根据上述提出的技术问题，而提供一种航运及贸易数据的高频产品关键词及词组展示系统。本发明采用的技术手段如下：

一种航运及贸易数据的高频产品关键词及词组展示系统，包括：

数据更新单元，在客户交付数据之后自动通过邮箱将非结构型的文本数据传递至系统中，并使用清洗单元对数据进行整理；

清洗单元，用于获取原始航运及贸易数据，并将获取的数据清洗，基于清洗后的数据构建基本数据库；

高频产品关键词及词组挖掘单元，用于对历史数据进行分词处理，进行词频统计并计算出权重，提取出高频产品关键词及词组作为词库，再对更新数据进行分词处理，留取名词和词组，进行词频统计，对比词库获取权重较大的词和词组，并作词频排序，基于权重和阈值的对比，筛选出结果；

存储单元，用于存储高频产品关键词及词组挖掘单元挖掘的关键词；

可视化单元，用于将关键词或词组以日、月、年为单位，绘制不同的可视化图形报表。

进一步地，获取的原始航运及贸易数据，将其非结构型数据转换成结构性数据利用SQL视图方法清洗数据。

进一步地，所述高频产品关键词及词组挖掘单元使用基于隐马尔科夫模型的词性标注获得最大概率词性，具体地，

使用基于隐马尔科夫模型的词性标注，对英文标注词性语料使用HMM模型得到一个HMM链：

获得HMM链对历史数据分词进行此行判断，获得最大概率词性，将名词性最大概率单词筛选出来并获得该词前后相关的词组。

一种航运及贸易数据的高频产品关键词及词组展示系统，包括如下步骤：

获取原始航运及贸易数据；

将获取的非结构型数据转换成结构性数据，利用SQL视图方法清洗数据，清洗后构建成基本数据库；

对历史数据进行分词处理，留取名词和词组，剔除停用词和无意义词；进行词频统计并计算出权重，提取出高频产品关键词及词组作为词库；再对更新数据进行分词处理，留取名词和词组，进行词频统计，对比词库获取权重较大的词和词组，并作词频排序，基于预设的阈值，筛选结果；

将输出的数据进行可视化处理。