一种基于Spark框架的并行FP-Growth挖掘算法
大小：0.64 MB 人气： 2017-11-17 需要积分：0
Apriori和FPGrowth算法是频繁模式挖掘中的经典算法，由于Apriori存在更多缺陷，因此FPGrowth是单机计算环境下比较高效的算法。然而，对于非并行计算在大数据时代遇到的瓶颈，提出一种基于事务中项间联通权重矩阵的负载平衡并行频繁模式增长算法CWBPFP。算法在Spark框架上实现并行计算，数据分组时利用负载均衡策略，存入分组的数据是相应频繁项的编码。每个工作节点将分组数据中每一个事物中项的联通信息存入一个下三角联通权重矩阵中，使用被约束子树来加快每个工作节点挖掘频繁模式时创建条件FPtree的速度，再用联通权重矩阵避免每次挖掘分组中频繁模式时对条件模式基的第一次扫描。由于联通权重矩阵和被约束子树的结合应用于每一个工作节点的FPtree挖掘过程，因此提升了并行挖掘FPtree性能。通过实验表明，所提出的并行算法对大的数据有较高性能和可扩展性。
非常好我支持^.^
(0) 0%
不好我反对
(0) 0%
下载地址
一种基于Spark框架的并行FP-Growth挖掘算法下载
相关电子资料下载
- 天数智芯主导的DeepSpark开源社区发布百大应用开放平台24.06版本 436
- spark运行的基本流程 91
- Spark基于DPU的Native引擎算子卸载方案 180
- 百度前高管景鲲与朱凯华创立AI搜索公司，Genspark产品惊艳上线 458
- 关于Spark的从0实现30s内实时监控指标计算 111
- “Spark+Hive”在DPU环境下的性能测评 | OLAP数据库引擎选型白皮书（24版）DPU部分 212
- 芯科科技和Arduino合作创建SparkFun Thing Plus Matter板 234
- Sparkle撼与科技发布TBX-750FA-V2显卡坞，支持3.5槽厚显 243
- 如何注册星闪Sparklink设备媒体接入层标识、地址码? 246
- 如何利用DPU加速Spark大数据处理？ | 总结篇 661