zoukankan      html  css  js  c++  java
  • hadoop--环境配置

    1:修改主机名和IP的映射关系   vim /etc/hosts     192.168.1.101 itcast

    2:修改主机名:  vi /etc/sysconfig/network     (Master  )

    3:关闭防火墙   

    #查看防火墙状态      service iptables status

    #关闭防火墙    service iptables stop
    #查看防火墙开机启动状态  chkconfig iptables --list
    #关闭防火墙开机启动  chkconfig iptables off

    4:安装jdk   

    1):mkdir  /uer/java

    2): 将jdk解压至/usr/java    ./jdk-6u45-linux-i586.bin /usr/java/

    3):将java添加到环境变量中  vim /etc/profile

    #在文件最后添加  export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
              export PATH=$PATH:$JAVA_HOME/bin
    #刷新配置  source /etc/profile

    5:安装hadoop

    1):mkdir /home/hadoop

    2):将hadoop解压至 /home/hadoop/     tar zxvf  hadoop-2.4.1.tar.gz /home/hadoop/

    3): 修改hadoop 配置文件

        第一个:hadoop-env.sh
        vim hadoop-env.sh
        #第27行
        export JAVA_HOME=/usr/java/jdk1.7.0_65
        第二个:core-site.xml

        <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://weekend-1206-01:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hadoop-2.4.1/tmp</value>
        </property>
      
        第三个:hdfs-site.xml hdfs-default.xml (3)
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

        第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        
        第五个:yarn-site.xml
        <!-- 指定YARN的老大(ResourceManager)的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>weekend-1206-01</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

    4): 将hadoop添加到环境变量  vi /etc/profile

        export JAVA_HOME=/usr/java/jdk1.7.0_65
        export HADOOP_HOME=/home/hadoop/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

        source /etc/profile

    6:时间同步:

    7:修改ip:

  • 相关阅读:
    UITableView的一些事1
    Mac修改文件权限:You don’t have permission to save the file
    svn: is already a working copy for a different url 解决办法
    svn服务配置
    github push出错(1)You can't push to git:// Use https://
    判断系统版本
    浅谈 Qt 布局那些事
    Qt布局管理
    详解 QT 主要类 QWidget
    新手须知 QT类大全
  • 原文地址:https://www.cnblogs.com/zqzdong/p/4876849.html
Copyright © 2011-2022 走看看