spark集群部署错误告警随记

1，Error: Could not find or load main class namenode-format

这个是错误的把hadoop namenode -format 命令写成hadoop namenode-format

2,  WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

在/etc/profile中加上这两句

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

3，在master机器上打开浏览器，访问127.0.0.1:8080，只显示master而不显示worker的IP

这个可能是防火墙问题。关闭master的防火墙

#service iptables stop

#setenforce 0

 4，执行./bin/spark-shell报错:java.lang.IllegalArgumentException: java.net.UnknownHostException: namenode

原因是spark-defaults.conf时出现了问题，spark.eventLog.dir设置错了。如果spark.eventLog.enabled为 true，该属性为记录spark 事件的根目录。在此根目录中，Spark为 每个应用程序 创建分目录，并将 应用程序的 事件记录到在此目录中。用户可以将此属性设置为HDFS目录，以便history server读取历史记录文件。 可以将其设置为file:///home/hadoop/sparkdata/log