zoukankan      html  css  js  c++  java
  • hadoop--环境配置

    1:修改主机名和IP的映射关系   vim /etc/hosts     192.168.1.101 itcast

    2:修改主机名:  vi /etc/sysconfig/network     (Master  )

    3:关闭防火墙   

    #查看防火墙状态      service iptables status

    #关闭防火墙    service iptables stop
    #查看防火墙开机启动状态  chkconfig iptables --list
    #关闭防火墙开机启动  chkconfig iptables off

    4:安装jdk   

    1):mkdir  /uer/java

    2): 将jdk解压至/usr/java    ./jdk-6u45-linux-i586.bin /usr/java/

    3):将java添加到环境变量中  vim /etc/profile

    #在文件最后添加  export JAVA_HOME=/home/hadoop/app/jdk-7u_65-i585
              export PATH=$PATH:$JAVA_HOME/bin
    #刷新配置  source /etc/profile

    5:安装hadoop

    1):mkdir /home/hadoop

    2):将hadoop解压至 /home/hadoop/     tar zxvf  hadoop-2.4.1.tar.gz /home/hadoop/

    3): 修改hadoop 配置文件

        第一个:hadoop-env.sh
        vim hadoop-env.sh
        #第27行
        export JAVA_HOME=/usr/java/jdk1.7.0_65
        第二个:core-site.xml

        <!-- 指定HADOOP所使用的文件系统schema(URI),HDFS的老大(NameNode)的地址 -->
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://weekend-1206-01:9000</value>
        </property>
        <!-- 指定hadoop运行时产生文件的存储目录 -->
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/hadoop-2.4.1/tmp</value>
        </property>
      
        第三个:hdfs-site.xml hdfs-default.xml (3)
        <!-- 指定HDFS副本的数量 -->
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>

        第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
        mv mapred-site.xml.template mapred-site.xml
        vim mapred-site.xml
        <!-- 指定mr运行在yarn上 -->
        <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
        </property>
        
        第五个:yarn-site.xml
        <!-- 指定YARN的老大(ResourceManager)的地址 -->
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>weekend-1206-01</value>
        </property>
        <!-- reducer获取数据的方式 -->
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>

    4): 将hadoop添加到环境变量  vi /etc/profile

        export JAVA_HOME=/usr/java/jdk1.7.0_65
        export HADOOP_HOME=/home/hadoop/hadoop-2.4.1
        export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:

        source /etc/profile

    6:时间同步:

    7:修改ip:

  • 相关阅读:
    oracle
    SQL Server- 行列转换 行转列,多行转多列
    oracle
    asp.net 去掉小数点后面多余的0,本身为0则不显示
    asp.net 去掉小数点后面多余的0,本身为0还是显示为0
    asp.net 经常用到需要判断文本框是否输入的数字是小数,有无正负,几位小数,可以封装一起判断
    ASP.NET gridview导出excel,防止繁体产生有乱码的方式
    SQL- @@ROWCOUNT -返回上一行执行影响的行行数
    mui-a标签跳转
    浏览器地址截取
  • 原文地址:https://www.cnblogs.com/zqzdong/p/4876849.html
Copyright © 2011-2022 走看看