HDFS学习总结之安装

HDFS linux安装总结（基于hadoop-2.6.0-cdh5.7.0 伪分部安装）

1、jdk安装 

    1） 直接下载jdk包放到安装目录即可（jdk-8u131-linux-x64.tar.gz解压到安装目录）

    2）配置环境变量 直接在 .bash_profile配置    

            export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131
            export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.0-cdh5.7.0
            export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

2、安装ssh

        sudo  yum install ssh

3、配置免密码登录

        1）ssh-keygen -t rsa （会在.ssh目录生成公钥和私钥）

        2）将公钥添加到authorized_keys文件中

4、下载安装包，解压到安装目录（http://archive.cloudera.com/cdh5/cdh/5/)

5、修改相关配置

    1）hadoop_home/etc/hadoop/hadoop-env.sh 配置jdk

            export JAVA_HOME=/home/hadoop/app/jdk1.8.0_131

    2) hadoop_home/etc/hadoop/core-site.xml   

<configuration>        
            <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop01:8020</value>
            </property>
            
            <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/tmp</value>
            </property>
</configuration>

   3）hadoop_home/etc/hadoop/hdfs-site.xml  设置副本系数

 <configuration>        
            <property>
                <name>dfs.replication</name>
                <value>1</value>
            </property>
</configuration>

5、启动hdfs

    1）格式化文件系统：

bin/hdfs namenode -format

    2) 启动

sbin/start-dfs.sh

    3）验证是否成功

       第一种方式：jps命令

            [hadoop@hadoop01 sbin]$ jps
                    7880 DataNode
                    8060 SecondaryNameNode
                    8173 Jps
                    7791 NameNode

         第二种方式（浏览器）：http://192.168.44.183:50070/

   4)、停止hdfs

sbin/stop-dfs.sh