Spark配置参数调优

CPU各核负载量很不均匀，内存也没有用满，系统的资源没有得到充分利用，该如何利用？ (1)Spark的RDD的partition个数创建task的个数是对应的; (2)Partition的个数在hadoop的RDD中由block的个数决定的。 内存：系统总内存数 = work内存大小 * work数
posted @ 2018-01-30 16:49  四叶草Grass  阅读(1232)  评论(0)  编辑  收藏  举报