hadoop伪分布式搭建

1. JDK安装配置

   执行 rpm -i  jdk-8u91-linux-x64.rpm  
   默认安装在/usr/java/jdk1.8.0_91目录中
    
   配置环境变量vi /etc/profile在最后一行添加
   export  JAVA_HOME=/usr/java/jdk1.8.0_91
   export  PATH=$PATH:$JAVA_HOME/bin
    
   source /etc/profile 使环境变量生效(. /etc/profile)也可以

2. ssh免秘钥(本机)

   生成公钥并追加到文件中保存
   ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

3. Hdaoop安装配置

   在/opt 创建hadoop目录 /sxt，
   上传hadoop.tar.gz到服务器，解压，移动到指定目录
   mv hadoop-2.6.5 /opt/sxt
   
   配置环境变量（在任意目录可以使用bin和sbin下的命令）
   vi /etc/profile
   export JAVA_HOME=/usr/java/jdk1.7.0_67
   export  HADOOP_HOME=/opt/sxt/hadoop-2.7.3
   export  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
   source /etc/profile 使环境变量生效

4. Hadoop环境配置

   进入hadoop的配置目录
   cd /opt/sxt/hadoop-2.7.3/etc/hadoop 

   vi hadoop-env.sh
   修改JAVA_HOME为java绝对路径
   export JAVA_HOME=/usr/java/jdk1.8.0_91

   vi core-site.xml
   添加配置（NameNode启动位置；NN和DN的存储文件目录）
   <property>
       <name>fs.defaultFS</name>
       <value>hdfs://node00:9000</value>
   </property>
   <property>
     <name>hadoop.tmp.dir</name>
       <value>/var/sxt/hadoop/local</value>
   </property>

   vi hdfs-site.xml
   添加配置（伪分布式1个副本；SN节点启动位置）
   <property>
       <name>dfs.replication</name>
       <value>1</value>
   </property>
   <property>
      <name>dfs.namenode.secondary.http-address</name>
       <value>node00:50090</value>
   </property>

   vi slaves
   添加配置（DataNode节点启动位置）
   node00

5. HAdoop启动测试

   格式化hdfs namenode -format（创建存储data和name的文件,生成集群id，两个id一致；删除NameNode元数据）
   启动start-dfs.sh
   查看进程 jps
   28341 SecondaryNameNode
   28102 NameNode
   28207 DataNode
   28480 Jps
   
   上传文件测试
   hdfs dfs -mkdir /user
   hdfs dfs -ls /user
   hdfs dfs -mkdir /user/root
   hdfs dfs -D dfs.blocksize=1048576 -put hadoop-2.7.3.tar.gz 
   
   浏览器访问查看上传文件
   http://192.168.68.99:50070或者node00:50070