[发明专利]一种并行非监督文本分类方法在审
| 申请号: | 202011521814.1 | 申请日: | 2020-12-21 |
| 公开(公告)号: | CN112818116A | 公开(公告)日: | 2021-05-18 |
| 发明(设计)人: | 杜少波 | 申请(专利权)人: | 贵州商学院 |
| 主分类号: | G06F16/35 | 分类号: | G06F16/35;G06K9/62 |
| 代理公司: | 广东有知猫知识产权代理有限公司 44681 | 代理人: | 崔新芬 |
| 地址: | 550014 贵*** | 国省代码: | 贵州;52 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 一种 并行 监督 文本 分类 方法 | ||
1.一种并行非监督文本分类方法,其特征在于:包括如下步骤:
计算中心点:采用层次聚类算法或密度聚类算法,计算向量化文本数据的中心点;
切分计算:基于模糊聚类算法,以每一中心点的计算为一路,采用多路并行的方式进行隶属度计算;
输出结果:将隶属度计算的结果作为输出结果返回。
2.如权利要求1所述的并行非监督文本分类方法,其特征在于:所述步骤计算中心点中,采用Canopy算法计算。
3.如权利要求1所述的并行非监督文本分类方法,其特征在于:所述步骤切分计算中,基于模糊C均值聚类算法进行计算。
4.如权利要求2所述的并行非监督文本分类方法,其特征在于:所述采用Canopy算法计算过程中,以最大点密度值点作为聚类中心点。
5.如权利要求2所述的并行非监督文本分类方法,其特征在于:所述采用Canopy算法计算过程中,以最大权重值点作为聚类中心点,最大权重值基于样本点的周围点数量、紧密度和簇相似度计算。
6.如权利要求5所述的并行非监督文本分类方法,其特征在于:所述最大权重值以如下公式进行计算:
其中:ρi为样本点的周围点数量,αi为样本点的紧密度,即样本点的周围点距离均值,si为样本点的簇相似度,即样本点所在簇和其他簇之间的簇相似度。
7.如权利要求4或6所述的并行非监督文本分类方法,其特征在于:采用最大点密度值点作为第一聚类中心点,除第一聚类中心点所在簇之外其他点的最大权重值点作为第二聚类中心点。
8.如权利要求1所述的并行非监督文本分类方法,其特征在于:所述多路并行的方式通过Spark环境实现。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于贵州商学院,未经贵州商学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011521814.1/1.html,转载请声明来源钻瓜专利网。





