zoukankan      html  css  js  c++  java
  • hadoop--环境配置

    1:修改主机名和IP的映射关系   vim /etc/hosts     192.168.1.101 itcast

    2:修改主机名:  vi /etc/sysconfig/network     (Master  )

    3:关闭防火墙   

    #查看防火墙状态      service iptables status

    #关闭防火墙    service iptables stop
    #查看防火墙开机启动状态  chkconfig iptables --list
    #关闭防火墙开机启动  chkconfig iptables off

    4:安装jdk   

    1):mkdir  /uer/java

    2): 将jdk解压至/usr/java    ./jdk-6u45-linux-i586.bin /usr/java/

    3):将java添加到环境变量中  vim /etc/profile

    #在文件最后添加  export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
              export PATH=$PATH:$JAVA_HOME/bin
    #刷新配置  source /etc/profile

    5:安装hadoop

    1):mkdir /home/hadoop

    2):将hadoop解压至 /home/hadoop/     tar zxvf  hadoop-2.4.1.tar.gz /home/hadoop/

    3): 修改hadoop 配置文件

        第一个:hadoop-env.sh
        vim hadoop-env.sh
        #第27行
        export JAVA_HOME=/usr/java/jdk1.7.0_65
        第二个:core-site.xml

        <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://weekend-1206-01:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hadoop-2.4.1/tmp</value>
        </property>
      
        第三个:hdfs-site.xml hdfs-default.xml (3)
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

        第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        
        第五个:yarn-site.xml
        <!-- 指定YARN的老大(ResourceManager)的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>weekend-1206-01</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

    4): 将hadoop添加到环境变量  vi /etc/profile

        export JAVA_HOME=/usr/java/jdk1.7.0_65
        export HADOOP_HOME=/home/hadoop/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

        source /etc/profile

    6:时间同步:

    7:修改ip:

  • 相关阅读:
    二元树的深度 【微软面试100题 第五十二题】
    和为n连续正数序列 【微软面试100题 第五十一题】
    一道看上去很吓人的算法题 【微软面试去100题 第四十九题】
    在左移的递减数组中查找某数 【微软面试100题 第四十八题】
    最长递减子序列 【微软面试100题 第四十七题】
    括号问题 【微软面试100题 第四十六题】
    矩阵运算 【微软面试100题 第四十五题】
    设计一个魔方(六面)的程序 【微软面试100题 第四十四题】
    二叉搜索树的非递归前中后序遍历 【微软面试100题 第四十三题】
    合并链表 【微软面试100题 第四十二题】
  • 原文地址:https://www.cnblogs.com/zqzdong/p/4876849.html
Copyright © 2011-2022 走看看