hadoop集群开启和停止执行命令

启动和停止完整集群步骤

启动集群

1. #启动完整集群的步骤  
2. #第一步：启动zookeeper  
3. ./ssh_all_zookeeper.sh /usr/local/zookeeper/bin/zkServer.sh start  
4. #第二步：在nn1上启动所有  
5. start-all.sh  
6. #第三步：在nn1上启动yarn日志代理服务  
7. yarn-daemon.sh start proxyserver  
8. #第四步：在nn1上启动MR的jobhistory服务  
9. mr-jobhistory-daemon.sh start historyserver   
10.  #第五步：在nn2上启动resourcemanager，用于启动yarn的HA  
11.  yarn-daemon.sh start resourcemanager  

停止集群

1. #第一步：在nn1上，停止所有  
2. stop-all.sh     停止的进程有    nn1 nn2的namenode  s1 s2 s3的datanode   nn1 nn2的journalnode  nn1 nn2的zkfc        nn1的resourcemanager s1 s2 s3的nodemanager   nn1的proxyserver
3. #第二步：在nn1上，停止MR的jobhistory服务  
4. mr-jobhistory-daemon.sh stop historyserver   
5. #第三步：在nn2上，停止resourcemanager，用于停止yarn的HA  
6. yarn-daemon.sh stop resourcemanager  
7. #第四步：停止zookeeper  
8. ./ssh_all_zookeeper.sh /usr/local/zookeeper/bin/zkServer.sh stop   

获取两个namenode的状态是否是active和standby

1. #获取状态  是否是active  
2. Hdfs haadmin -getServiceState nn1 

启动集群hive

1. #启动集群hive 
2. nohup hive --service metastore > /dev/null 2>&1 &  (后台进程)
3. #启动hive client
4. hive

启动集群hbase

1. #启动集群hbase  
2. start-hbase.sh 

停止集群

1. #第五步  关闭集群hbase  
2. stop-hbase.sh  

当active变成nn2的时候，我们需要在active机器下执行命令

1. hadoop-daemon.sh stop zkfc  
2. hadoop-daemon.sh start  zkfc  

stop-hbase.sh 一直处于等待状态

1. hbase-daemon.sh stop master  
2. #如果不行的话 就进入每个节点关闭  
3. stop-hbase.sh  
4. #执行以下命令  
5. hbase-daemon.sh stop regionserver  

当出现yarn进程关闭的情况下  可以使用以下命令

1. start-yarn.sh  会启动resourcemanager nodemanager

shell脚本后台执行命令

nohup sh ~/query_nginx.sh >> /dev/null 2>&1 &

后台开启hive的metatsore

nohup hive --service metastore > /dev/null 2>&1 &

跳过回收站彻底删除  

hadoop  fs -rm -r -skipTrash   目录 

-------------------------------------hdfs-------------------------------

上传文件

hadoop fs  -put    /input     /user/yyf/input

删除文件

hadoop  fs -rmr /user/yyf/output

创建多级目录

hadoop fs -mkdir -p /XXX/XXX/XXX

----------------------------------zookeeper-------------------------------

查看zk的状态  /usr/local/zookeeper/bin/zkServer.sh status   那个是leader

客户端的连接  /usr/local/zookeeper/bin/zkCli.sh -server nn1.hadoop:2181, nn2.hadoop:2181, s1.hadoop:2181