博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
宽依赖、窄依赖
阅读量:7088 次
发布时间:2019-06-28

本文共 198 字,大约阅读时间需要 1 分钟。

  hot3.png

Spark中RDD的粗粒度操作,每一次transformation都会生成一个新的RDD,这样就会建立RDD之间的前后依赖关系,在Spark中,依赖关系被定义为两种类型,分别是窄依赖和宽依赖

 

  • 窄依赖,父RDD的分区最多只会被子RDD的一个分区使用,
  • 宽依赖,父RDD的一个分区会被子RDD的多个分区使用

 

8c3be23c21a8b9b78d9216ce75c83165208.jpg

转载于:https://my.oschina.net/134596/blog/3037207

你可能感兴趣的文章
Fiddler2汉化版使用说明
查看>>
未在本地计算机上注册 microsoft.jet.oledb.4.0 提供程序
查看>>
判断当前运行的平台
查看>>
checkbox 多选框 :jquery之全选、全不选、反选
查看>>
触摸屏
查看>>
ADO.net的学习
查看>>
AIX 中 Paging Space 使用率过高的分析与解决
查看>>
webservice 测试窗体只能用于来自本地计算机的请求
查看>>
Java 中队列的使用
查看>>
再见 2014,你好 2015
查看>>
13 SELECT 以外的内容
查看>>
存储过程分页
查看>>
Mongodb启动命令mongod参数说明
查看>>
第6章 数组----遍历数组(使用二维数组输出一个3行4列且所有元素都是0的矩阵)...
查看>>
初中面谈招生网上招生报名系统
查看>>
Oracle Flashback Technologies (总)
查看>>
.NET平台开源项目速览(9)软件序列号生成组件SoftwareProtector介绍与使用
查看>>
干货:史上最实用逃顶绝招十二式!
查看>>
鸟哥Linux私房菜 基础学习篇读书笔记(10):Linux磁盘和文件系统管理(3)
查看>>
简述Session 、Cookie、cache 区别
查看>>