[发明专利]一种小语种国家的舆情信息文本处理方法在审
| 申请号： | 201811327832.9 | 申请日： | 2018-11-08 |
| 公开（公告）号： | CN109492225A | 公开（公告）日： | 2019-03-19 |
| 发明（设计）人： | 童友俊 | 申请（专利权）人： | 大连瀚闻资讯有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27;G06F17/28 |
| 代理公司： | 大连东方专利代理有限责任公司 21212 | 代理人： | 李馨 |
| 地址： | 116000 辽宁省大连市高*** | 国省代码： | 辽宁;21 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供一种小语种国家的舆情信息文本处理方法。本发明方法，包括如下步骤：将小语种文本翻译为英文，再根据英文文本翻译为中文文本；基于隐马尔可夫模型对中文文本进行分词处理；对全部分词语料进行清洗，将不利于判断有效信息、重复出现的非语素词全部清洗掉；计算各个分词的词频逆文本词频值，将词频逆文本词频值低于设定阈值的非关键词删除，通过保留的词组建分析语料库。本发明可将舆情监测范围大大提高，沿线各小语种国家的信息都可被该模型进行实时监测分析。本发明将难以进行准备切分的新闻性文本，进行了高准确度的分词清洗。经人工检测后，非有效信息的出现率及有效信息的误排率都极低。 | ||
| 搜索关键词： | 词频 语种 有效信息 分词 清洗 文本处理 文本翻译 舆情信息 中文文本 文本 隐马尔可夫模型 实时监测分析 准确度 英文 非关键词 分词处理 人工检测 重复出现 新闻性 语料库 语料 语素 删除 保留 监测 组建 分析 | ||
【主权项】：
1.一种小语种国家的舆情信息文本处理方法，其特征在于，包括如下步骤：将小语种文本翻译为英文，再根据英文文本翻译为中文文本；基于隐马尔可夫模型对中文文本进行分词处理；对全部分词语料进行清洗，将不利于判断有效信息、重复出现的非语素词全部清洗掉；计算各个分词的词频逆文本词频值，将词频逆文本词频值低于设定阈值的非关键词删除，通过保留的词组建分析语料库。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于大连瀚闻资讯有限公司，未经大连瀚闻资讯有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811327832.9/，转载请声明来源钻瓜专利网。
