zoukankan      html  css  js  c++  java
  • mac安装hadoop2.7.2

    1.安装jdk:版本在1.7x以上(因为hadoop2.x以上只支持1.7.x以上的jdk)

    2.下载hadoop

    3.配置ssh免密登录

    1 ssh-keygen -t rsa
    2 cd .ssh
    3 cp id_rsa.pub authorized_keys
    4 ssh localhost

    4.查询jdk版本

    1 java -version

    5.配置hadoop-env.sh

    1 #vim hadoop-env.sh
    2 export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home  

    6.配置core-site.xml

    <!-- 制定HDFS的老大(NameNode)的地址 -->
    <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
    </property>
    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
      <name>hadoop.tmp.dir</name>
      <value>/Users/fengmingyue/myAPPS/hadoop-2.7.3/tmp</value>
    </property>   

    7.配置hdfs-site.xml

    <!-- 指定HDFS副本的数量 -->
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>

    8.配置mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

    <!-- vim mapred-site.xml -->
    <!-- 指定mr运行在yarn上 -->
    <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
    </property>   

    9.配置yarn-site.xml

    <!-- 指定YARN的老大(ResourceManager)的地址 -->
    <property>
      <name>yarn.resourcemanager.hostname</name>
      <value>localhost</value>
    </property>
    <!-- reducer获取数据的方式 -->
    <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>

    10.将hadoop添加到环境变量

    #vim ~/.bash_profile 
    export HADOOP_HOME=/Users/wochu/developerTool/hadoop-2.7.2
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    #source /etc/profile刷新配置文件

    格式化namenode(是对namenode进行初始化)
      hdfs namenode -format (hadoop namenode -format)
    启动hadoop
      先启动HDFS:sbin/start-dfs.sh
      再启动YARN:sbin/start-yarn.sh
    验证是否启动成功
      使用jps命令验证,出现下面内容则成功

    http://localhost:50070 (HDFS管理界面)
    http://localhost:8088 (MR管理界面) 

  • 相关阅读:
    基本数据类型与其包装类型
    String与常量池(JDK1.8)
    数据库知识归纳(面试向)
    HashMap、ConcurrentHashMap以及HashTable(面试向)
    Java多线程基础(面试向)
    Java的类加载
    Sql语句的一些事(二)
    RUBY惯用方法(转)
    Ruby中区分运行来源的方法(转)
    ruby安装devkit
  • 原文地址:https://www.cnblogs.com/sunyaxue/p/9048309.html
Copyright © 2011-2022 走看看