• spark-history-server-configuration: spark histroy server配置信息

Spark Application运行的时候,Spark会提供一个WEBUI列出应用程序的运行时信息.但该WEBUI随着Application的完成(成功/失败)而关闭,也就是说,Spark Application运行完(成功/失败)后,将无法查看Application的历史记录.Spark history Server就是为了应对这种情况而产生的,通过配置可以在Application执行的过程中记录下了日志事件信息,那么在Application执行结束后,WEBUI就能重新渲染生成UI界面展现出该Application在执行过程中的运行时信息

• spark.history.fs.logDirectory: 配置spark.history所在的文件目录

Cleaning up Spark history logs,全部配置在spark-default.conf

• spark.history.fs.cleaner.enabled=true: 配置是否定期清理History Server的日志文件
• spark.history.fs.cleaner.maxAge=12h: 配置History Server早于这个时间段的文件为可删除文件
• spark.history.fs.cleaner.interval=1h: 配置检查History Server文件中需要删除日志的时间间隔,仅大于spark.history.fs.cleaner.maxAge的文件有效

配置完了以后需要重启spark history server

---