zoukankan      html  css  js  c++  java
  • 基于centos6.5 hadoop 伪分布式安装

    步骤1:修改IP 地址和主机名:

    vi /etc/sysconfig/network-scripts/ifcfg-eth0

    如果该文件打开为空白文件代表你计算机上的网卡文件不是这个名称“ifcfg-eth0” ,可以 cd /etc/sysconfig/network-scripts/ 这个目录查看以ifcfg-***开头的文件,就是你的网卡文件。再进行编辑 vi /etc/sysconfig/network-scripts/ifcfg-***

    主要修改项为:

                       BOOTPROTO="static"   ###         

                       IPADDR="192.168.100.70"   ###

                       NETMASK="255.255.255.0"  ###

                       GATEWAY="192.192.100.1"    ###

    BOOTPROTO 修改为静态

    IPADDR 要修改的具体ip

    NETMASK 网关

    GATEWAY 网关

    主机名修改:

    Vim /etc/sysconfig/network 

    NETWORKING=yes

    HOSTNAME=hadoop1

    hostname 查看主机名

    步骤2:修改主机名与ip地址对应关系

    vim /etc/hosts

    192.168.100.70 hadoop1

    步骤3:关闭防火墙

    查看防护墙状态

    service iptables status                  

    关闭

    service iptables stop                  

    查看防火墙开机启动状态

    chkconfig iptables --list                  

    关闭开机启动

    chkconfig iptables off

    步骤4:安装jdk 首先下载jdk7 jdk-7u79-linux-x64.gz

    将jdk-7u79-linux-x64.gz 复制到/usr/local/目录下

    解压:tar -zxvf jdk-7u79-linux-x64.gz 解压成功后会在/usr/local/目录下产生 java-1.7.0_79目录。

    配置环境变量:

    vim /etc/profile

    在文件最下面添加如下内容:

    export JAVA_HOME=/usr/local/java-1.7.0_79

    exprot PATH=$PATH:$JAVA_HOME/bin

    保存退出

    使上面文件立即生效:

    source /etc/profile

    验证安装是否成功:

    java -version

    如果出现jdk1.7之类字样代表安装成功

    步骤5:安装hadoop2.7.1

             上传hadoop安装包到 /usr/local/hadoop-2.7.1.tar.gz

             并进行解压

             tar -zxvf hadoop-2.7.1.tar.gz

    只有解压之后才可以操作以下步骤。

             伪分布式需要修改5个配置文件

             3.1配置hadoop

             第一个:hadoop-env.sh(所在目录/usr/local/hadoop-2.7.1/etc/hadoop/)

                       vim hadoop-env.sh

                       #第27行

                       export JAVA_HOME=/usr/local/java-1.7.0_79

                       以下几个xml都在/usr/local/hadoop-2.7.1/etc/haoop/目录下

             第二个:core-site.xml

                       <!-- 制定HDFS的老大(NameNode)的地址 -->

                       <property>

                                <name>fs.defaultFS</name>

                                <value>hdfs://hadoop1:9000</value>

                       </property>

                       <!-- 指定hadoop运行时产生文件的存储目录 -->

                       <property>

                                <name>hadoop.tmp.dir</name>

                                <value>/home/hadoop-2.7.1/tmp</value>

            </property>

                      

                       备注:这里的hadoop1是计算机名

             第三个:hdfs-site.xml

                       <!-- 指定HDFS副本的数量 -->

                       <property>

                                <name>dfs.replication</name>

                                <value>1</value>

            </property>

                      

             第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

                       mv mapred-site.xml.template mapred-site.xml

                       vim mapred-site.xml

                       <!-- 指定mr运行在yarn上 -->

                       <property>

                                <name>mapreduce.framework.name</name>

                                <value>yarn</value>

            </property>

                      

             第五个:yarn-site.xml

                       <!-- 指定YARN的老大(ResourceManager)的地址 -->

                       <property>

                                <name>yarn.resourcemanager.hostname</name>

                                <value>hadoop1</value>

            </property>

                       <!-- reducer获取数据的方式 -->

            <property>

                                <name>yarn.nodemanager.aux-services</name>

                                <value>mapreduce_shuffle</value>

            </property>

            

                       //备注这里的hadoop1是计算机名

             3.2将hadoop添加到环境变量

            

             vim /etc/proflie

                       export JAVA_HOME=/usr/local/java/jdk1.7.0_79

                       export HADOOP_HOME=/usr/local/hadoop-2.7.1

                       export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

    修改完成后profile,使之立即生效命令:

    source /etc/profile

    步骤6:验证与测试

    1格式化namenode(是对namenode进行初始化)

                       hdfs namenode -format (hadoop namenode -format)

                      

             2启动hadoop

                       先启动HDFS

                       sbin/start-dfs.sh

                      

                       再启动YARN

                       sbin/start-yarn.sh

                      

             3验证是否启动成功

                       使用jps命令验证

                       3504 DataNode

                       3386 NameNode

                       3813 ResourceManager

                       4087 NodeManager

                       3664 SecondaryNameNode

                       4206 Jps

                       http://192.168.100.70:50070 (HDFS管理界面)

                       http://192.168.100.70:8088 (MR管理界面)

    测试hdfs:

     

    上传文件进行测试

    hadoop fs -put /usr/local/hadoop/hadoop-2.7.1.tar.gz hdfs://hadoop1:9000/hadoop

    “/usr/local/hadoop/hadoop-2.7.1.tar.gz”是本地一个文件,“hdfs://hadoop1:9000/hadoop”代表hdfs上的一个文件位置

    下载文件测试 :

    hadoop fs -get  hdfs://hadoop1:9000/hadoop /home/hd

    测试yarn

    首先进入hadoop的安装目录下的/share/hadoop/mapreduce/ ,

    再使用hadoop-mapreduce-examples-2.7.1.jar

    新建一个文件words文件内容如下,并上传到hdfs中

    Hello tom

    Hello jer

    Hello jack

    Hello kety

    Hello tom

    上传到hdfs;

    hadoop fs -put /usr/hadoop/words hdfs://hadoop1:9000/words

    hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount hdfs://hadoop1:9000/words hdfs://hadoop1:9000/wordresult

    下载hdfs://hadoop1:9000/wordresult 可以查看内容

    Hello 5

    jack   1

    jer      1

    kety   1

    tom   2

    代表hadoop伪分部式安装成功

  • 相关阅读:
    HTTP的POST提交的四种常见消息主体格式
    postman设置token等关联参数
    基于Appium的APP自动化测试基础--美团APP的实例
    Genymotion安装apk问题,不能部署Genymotion-ARM-Translation_v1.zip
    http://dl-ssl.google.com/android上不去解决方案
    算法中,什么是哈希值,哈希值怎么生成的,有什么用?
    理解Python中的__builtin__和__builtins__
    SQL语句中exists和in的区别
    Selenium_python自动化跨浏览器执行测试
    python assert断言函数
  • 原文地址:https://www.cnblogs.com/lvlv/p/6380718.html
Copyright © 2011-2022 走看看