我们的spark historyserver 最近页面打开很慢
jstat -gcutil pid 1000
发现full gc 相当严重
查看堆大小,发现默认堆1G,打算修改到4G
jps -lvm |grep pid
30283 org.apache.spark.deploy.history.HistoryServer -Xmx1g
步骤
vi spark-env.sh
# 加添
export SPARK_DAEMON_MEMORY=4096m
# 重启 historyserver服务
sbin/stop-history-server.sh
start-history-server.sh