spark历史服务器

spark-shell停掉之后页面的4040端口也就无法访问了，那么使用spark-submit执行的任务就无法查看，此时就需要配置历史服务器

首先修改spark-defaults.conf配置文件

1
2
3

# 配置日志存储
spark.eventLog.enabled  true
spark.eventLog.dir               hdfs://localhost:9000/directory

修改spark-env.sh

#配置历史服务器  spark.history.ui.port是WEBUI访问的端口号
# spark.history.fs.logDirectory 历史服务器日志存储的路径
# spark.history.retainedApplications 保留的Application历史记录的个数
export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://localhost:9000/directory
-Dspark.history.retainedApplications=30"

spark.history.fs.logDirectory和spark.eventLog.dir要对应，且这里的目录一定要存在，如果不存在需要在hdfs上创建

之后启动历史服务器(在sbin目录下)

1	./start-history-server.sh

启动之后可以去localhost:18080页面查看