[发明专利]一种基于Spark的Eclat并行化方法、系统及装置有效
| 申请号： | 201710888436.2 | 申请日： | 2017-09-27 |
| 公开（公告）号： | CN108334532B | 公开（公告）日： | 2021-08-03 |
| 发明（设计）人： | 赵淦森;张海明;王欣明;庄序填;李振宇;李胜龙;林成创;蔡斯凯;庞雄文;张奇支 | 申请（专利权）人： | 华南师范大学;广东蔚海数问大数据科技有限公司 |
| 主分类号： | G06F16/2453 | 分类号： | G06F16/2453;G06F16/2455;G06F16/245 |
| 代理公司： | 广州嘉权专利商标事务所有限公司 44205 | 代理人： | 胡辉 |
| 地址： | 510631 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Spark的Eclat并行化方法、系统及装置，方法包括对事务数据库进行预处理，生成垂直事务数据库；将垂直事务数据库缓存至各个计算节点；对垂直事务数据库进行分发计算操作，得到多个频繁集；对多个频繁集进行合并操作，输出满足最小支持度的频繁集。系统包括获取模块、缓存模块、分发模块和合并模块。装置包括存储器和处理器。本发明通过将垂直数据库缓存至各个计算节点，提高了现有Eclat并行化方法的运行效率，且通过对垂直事务数据库进行分发计算操作，降低了网络开销。本发明可广泛应用于关联分析领域。 | ||
| 搜索关键词： | 一种 基于 spark eclat 并行 方法 系统 装置 | ||
【主权项】：
1.一种基于Spark的Eclat并行化方法，其特征在于：包括以下步骤：对事务数据库进行预处理，生成垂直事务数据库；将垂直事务数据库缓存至各个计算节点；对垂直事务数据库进行分发计算操作，得到多个频繁集；对多个频繁集进行合并操作，输出满足最小支持度的频繁集。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华南师范大学;广东蔚海数问大数据科技有限公司，未经华南师范大学;广东蔚海数问大数据科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710888436.2/，转载请声明来源钻瓜专利网。
