今天主要进行了spark的安装 本来这部分是比较简单的 但是由于自己之前使用的jdk版本是1.7导致Spark的安装出现了问题（jdk版本较低造成的）然后我接下来进行了jdk版本的升级，以及解决了一些由于操作不当出现的新问题，关于spark的伪分布式集群部署还在学习，请见后续.
1.没有卸载jdk1.7直接下载了jdk1.8
sudo yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel
vim ~/.bashrc
export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
这是我自己的 上面的是官方配置（可能还有其它处需要配置）（注意看下载之后的版本是啥进行相应替换）
source ~/.bashrc# 使变量设置生效
echo $JAVA_HOME # 检验变量值
java -version
$JAVA_HOME/bin/java -version # 与直接执行 java -version 一样
如果设置正确的话，$JAVA_HOME/bin/java -version 会输出 java 的版本信息，且和 java -version 的输出结果一样
2.执行多次（./bin/hdfs namenode -format）NameNode格式化（应该执行一次即可） 然后启动Hadoop出错
jps显示进程 发现没有DataNode解决如下：
查看DataNode日志/usr/local/hadoop/logs/hadoop-hadoop-datanode-什么什么以.log结尾。注意：
- 每一次的启动日志都是追加在日志文件之后，所以得拉到最后面看，看下记录的时间就知道了。
- 一般出错的提示在最后面，也就是写着 Fatal、Error 或者 Java Exception 的地方。
我的出错信息为（一般由于多次格式化NameNode导致。在配置文件中保存的是第一次格式化时保存的namenode的ID，因此就会造成datanode与namenode之间的id不一致。）
解决办法为 进入/usr/local/hadoop/tmp/dfs/data/current/version
将clusterID 替换为 上述红线标的id即可
3.然后spark的简单安装 参考http://dblab.xmu.edu.cn/blog/804-2/即可较为简单
关于集群部署目前只参考了http://dblab.xmu.edu.cn/blog/1187-2/