摘要: 转自:http://blog.csdn.net/ljj657137723/article/details/52134962 本篇文章是关于a56爆大奖在线娱乐在学习Spark过程中遇到的一些问题及总结,分为Spark优化、RDD join问题、遇到的问题、总结、参考资料几个部分。 一:Spark优化 1、设置序列化器 阅读全文
posted @ 2019-04-01 22:36 PigeonNoir 阅读(298) 评论(0) 推荐(0) 编辑
摘要: DAG,有向无环图,Directed Acyclic Graph的缩写,常用于建模。 Spark中使用DAG对RDD的关系进行建模,描述了RDD的依赖关系,这种关系也被称之为lineage,RDD的依赖关系使用Dependency维护,参考Spark RDD之Dependency,DAG在Spark 阅读全文
posted @ 2019-04-01 17:29 PigeonNoir 阅读(1585) 评论(0) 推荐(0) 编辑