Hive开启压缩后 MapJoin 偶发OOM问题

一、 问题现象 生产环境开启默认压缩后，Hive任务在触发MapJoin优化时会偶发OOM，如下图 二、 初步分析 从报错日志上面可以明显看出，maplocaltask 总共的分配内存2092433408处理行数：200000 哈希表大小：199999 内存使用量：1089164624 比例：0.5
posted @ 2022-08-28 20:37  George_sz  Views(466)  Comments(0)  Edit  收藏  举报