启动Hadoop HA Hbase zookeeper spark

服务器角色

服务器	192.168.58.180	192.168.58.181	192.168.58.182	192.168.58.183
Name	CentOSMaster	Slvae1	Slave2	StandByNameNode
NameNode	Yes			Yes
DataNode		Yes	Yes	Yes
journalNode		Yes	yes	Yes
ZooKeeper	Yes	Yes		Yes
ZKFC	Yes			Yes
Spark	Yes			Yes
hbase	Yes	Yes

Slave2没有zookeeper，所以hbase装在183和181，不过由于hbase.rootdir必须在hdfs上，所以估计还是只能搭载在180和183上。
就是不知道zk和hbase必须对应，就是说2个hbase，三个zk不知道行不。


备注：我的公钥文件在/home/hxsyl/.ssh下不在/root/hxsyl下，通过

find / -name id_rsa

　　查找

1.
分别在每个机器上运行命令zkServer.sh start或者在$ZOOKEEPER_HOME/bin目录下运行./zkServer.sh start命令。然后可以通过命令jps来查看Zookeeper启动的进程QuorumPeerMain。 
可通过zkServer.sh status命令来查看Zookeeper状态。正常是机器中只有一个leader，其他的都是follow 

$ZOOKEEPER_HOME/bin/zkServer.sh start

　　slave2不要zk了

DN节点是命令行模式，但是ssh IP “启动”命令显示成功了，但是ip里没进程，但是这种stop就可以 马丹，咋回事  只能去命令杭霞窍

2.主节点执行

hdfs zkfc -formatZK

　　注意：最后的zk是大写，否则

6/11/30 20:31:45 FATAL tools.DFSZKFailoverController: Got a fatal error, exiting now
org.apache.hadoop.HadoopIllegalArgumentException: Bad argument: -formatzk

　　

这个必须设置自动故障切换为true。

他会根据$HADOOP_HOME/etc/hadoop/core-site.xml文件中ha.zookeeper.quorum的值来进行初始化。


这个需要确定开启了自动ha切换，否则不行。
但是现在

DFSZKFailoverController并没有启动，start zkfc后才可以，然后才是一个active，一个standby，

3.
注意：所有操作均在Hadoop部署目录下进行。

启动Hadoop集群：
Step1 :
在各个JournalNode节点上，输入以下命令启动journalnode服务：

$HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode

或者在mster执行

$HADOOP_HOME/sbin/hadoop-daemons.sh start journalnode

注意第二种启动方法master节点并不是journalNode，需要单独启动，挺值得时候单独停止

s2没有journalNode。
4.
在[nn1]上，对其进行格式化，并启动：
bin/hdfs namenode -format
sbin/hadoop-daemon.sh start namenode

5.
在[nn2]上，同步nn1的元数据信息：
bin/hdfs namenode -bootstrapStandby

6.
启动[nn2]：
sbin/hadoop-daemon.sh start namenode

经过以上四步操作，nn1和nn2均处理standby状态
7.
将[nn1]切换为Active

有问题  如何配置自动切换的话 这个不要，强制手动 出现脑列问题....

bin/hdfs haadmin -transitionToActive nn1
强制切换是 --forcemanual nn1，有人说重启zkfc，我先格式化还是然后启动zkfc，说zkfc在运行。
然后重启hbase即可。


8.
此时两个都是standby，standby也可以启动datanode。
在[nn1]上，启动所有datanode
sbin/hadoop-daemons.sh start datanode
9.启动yarn
sbin/start-yarn.sh

在master1上多出ResourceManager进程，在slave1 slave2 slave3上多出NodeManager进程

10.启动zkfc

sbin/hadoop-daemon.sh start zkfc

　　注意这个和上面的启动journalNode式样的，damons的并没有启动master的zkfc，需要单独启动。

11.

sbin/mr-jobhistory-daemon.sh  start historyserver     原文配置在Stand上，我改成CentOSMaster上了。

 

11.启动hbase

bin/start-hbase.sh

关闭Hadoop集群： 在[nn1]上，输入以下命令 sbin/stop-dfs.sh 并没有停止上面的yarn和历史服务器 主节点的journalNode也没停止
各个节点的zookeeper也没停止

hbase停止很慢 查看master日志发现一直在等待Regionserver  那么先停止它   hbase-daemons.sh stop regionserver

进入spark的sbin目录下

start-all.sh

./start-history-server.sh

bin/spark-shell

 
12.关闭
a.zookeeper

$ZOOKEEPER_HOME/bin/zkServer.sh stop     一个一个关闭