• 错误提醒: New Memory allocation 1044273 bytes is smaller than the minimum allocation size of 1048576 bytes.
• 解决方式: hiveContext.setConf("parquet.memory.min.chunk.size", (1024 * 32).toString)
• Parquet异常问题排查

Spark – Container exited with a non-zero exit code 143

这种情况一般是资源不足造成的,spark的资源不足一般可以调整cores, memory memoryOverhead

设置driver或者executor内存的最大值,当两者的内存到达设定的memoryOverhead之后就会被yarn kill掉

spark.yarn.executor.memoryOverhead 4096
spark.yarn.driver.memoryOverhead   8192

• memoryOverhead issue in Spark

定义单个driver或者executor可以使用的总内存

spark.executor.memory 4G
spark.driver.memory   4G

定义最高同时并发tasks的多少.同时也影响总内存的使用,如果定义的内存使用是12G,并行度是3,那么每个tasks可以分到的内存大概是4G

spark.executor.cores  4
spark.driver.cores    4

内存有限的情况下 Spark 如何处理 T 级别的数据