spark应用程序常见问题整理

1.executor lost /java oom 通常是由于单个task内存占用过多，可以观察是哪个阶段挂的，如果类似groupbykey，可以看看是否有数据倾斜现象如果不是，可以repartition手动增加partitioin数，减少单个task的资源消耗有cache操作，partitio