[发明专利]一种云计算环境下基于MapReduce的分布式并行文本聚类方法在审
| 申请号： | 201710286671.2 | 申请日： | 2017-04-27 |
| 公开（公告）号： | CN106971005A | 公开（公告）日： | 2017-07-21 |
| 发明（设计）人： | 沈晔;周天和;李思剑;任培荣 | 申请（专利权）人： | 杭州杨帆科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 杭州之江专利事务所(普通合伙)33216 | 代理人： | 张慧英 |
| 地址： | 310000 浙江省杭州市西*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种云计算环境下基于MapReduce的分布式并行文本聚类方法，首先利用向量空间模型提出一种文本相似度计算方法；其次，基于“互为最小相似度文本对”搜索选择二分簇中心，提出通过一次划分实现簇质心寻优的二分K‑means聚类算法；最后，基于MapReduce框架面向云计算应用的大规模文本设计出并行聚类方法。本发明方法在Hadoop平台上运用真实文本数据的实验表明，并行聚类模型在获得相当聚类效果的同时，具有明显效率优势，在不同数据规模和计算节点数目上具有良好的扩展性。 | ||
| 搜索关键词： | 一种 计算 环境 基于 mapreduce 分布式 并行 文本 方法 | ||
【主权项】：
一种云计算环境下基于MapReduce的分布式并行文本聚类方法，其特征在于，包括如下步骤：(1)利用向量空间模型表示文本特征，结合文本相似度计算方法得到文本相似度计算模型；(2)利用基于“互为最小相似度文本对”搜索的文本聚类算法选择确定初始二分簇中心，通过一次划分实现簇质心寻优的二分K‑means聚类完成聚类，形成文本簇划分；(3)基于MapReduce框架，采用三个MapReduce任务进行分布式并行计算，分别负责搜索“互为最小相似度文本对”、分配文本到两个簇、最终的K‑means文本聚类，直到簇划分不再变化并输出聚类结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于杭州杨帆科技有限公司，未经杭州杨帆科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710286671.2/，转载请声明来源钻瓜专利网。
- 上一篇：搜索结果提供方法及装置
- 下一篇：一种体育赛事信息的个性化推送方法及系统
