spark中map与mapPartitions区别
在spark中，map与mapPartitions两个函数都是比较常用，这里使用代码来解释一下两者区别 两个函数最终处理得到的结果是一样的 mapPartitions比较适合需要分批处理数据的情况，比如将数据插入某个表，每批数据只需要开启一次数据库连接，大大减少了连接开支，伪代码如下：
posted on 2018-10-24 22:04 wubinghuan 阅读(14599) 评论(0) 编辑 收藏 举报
posted on 2018-10-24 22:04 wubinghuan 阅读(14599) 评论(0) 编辑 收藏 举报
