zoukankan      html  css  js  c++  java
  • Mac Hadoop的安装与配置

    这里介绍Hadoop在mac下的安装与配置。

    安装及配置Hadoop

    首先安装Hadoop

    $ brew install Hadoop
    

    配置ssh免密码登录
    用dsa密钥认证来生成一对公钥和私钥:

    $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
    

    将生成的公钥加入到用于认证的公钥文件中:

    $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
    

    接下来测试一下是否配置成功

    $ ssh localhost
    

    如果遇到connection refused之类的错误,检查一下mac是否开启远程登录功能,在系统偏好设置中可以设置。

    配置Hadoop文件

    core-site.xml文件配置如下:

    <configuration>
       <property>
       	<name>fs.defaultFS</name>
       	<value>hdfs://localhost:9000</value>
       </property>
    </configuration>
    

    hdfs-site.xml配置如下;

    <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
    </configuration>
    

    mapred-site.xml配置如下:

    <configuration>
       <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
       </property>
    </configuration>
    

    yarn-site.xml配置如下:

    <configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
    </configuration>
    

    以上过程需要注意的是如果mapred-site.xml文件不存在,需要自己创建(可以复制一下mapred-site.xml.template文件再进行修改)

    运行Hadoop样例程序

    此部分内容主要参考自Setting up Hadoop 2.6 on Mac OS X Yosemite

    1. 进入Hadoop的目录,以mac系统为例目录为
      /usr/local/Cellar/hadoop/2.7.2/libexec
      然后格式化文件系统:
      $ bin/hdfs namenode -format
    2. 启动NameNode和DataNode的守护进程。
      $ sbin/start-dfs.sh
    3. 启动ResourceManager和NodeManager的守护进程。
      $ sbin/start-yarn.sh
    4. 访问localhost:50070和localhost:8088测试是否正常。
    5. 创建hdfs目录:
      $ bin/hdfs dfs -mkdir -p /user/robin/input
      
    6. 拷贝一些文件到input目录:
      $ bin/hdfs dfs -put etc/hadoop input
    7. 运行样例: (下面命令中的hadoop版本号是2.7.2,根据你自己的hadoop版本修改版本号)
      $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input output 'dfs[a-z.]+'
    8. 在localhost:50070中的Utilities标签下找到/user/robin目录,下载part-r-00000文件,可以看到其中内容如下所示:
    4	dfs.class
    4	dfs.audit.logger
    3	dfs.server.namenode.
    2	dfs.period
    2	dfs.audit.log.maxfilesize
    2	dfs.audit.log.maxbackupindex
    1	dfsmetrics.log
    1	dfsadmin
    1	dfs.servers
    1	dfs.replication
    1	dfs.file
    
  • 相关阅读:
    虚函数和纯虚函数
    MS CRM 2011中PartyList类型字段的实例化
    MS CRM 2011的自定义与开发(12)——表单脚本扩展开发(4)
    MS CRM 2011的自定义与开发(12)——表单脚本扩展开发(2)
    MS CRM 2011的自定义和开发(10)——CRM web服务介绍(第二部分)——IOrganizationService(二)
    MS CRM 2011 SDK 5.08已经发布
    MS CRM 2011 Q2的一些更新
    最近很忙
    Microsoft Dynamics CRM 2011最近的一些更新
    补一篇,Update Rollup 12 终于发布了
  • 原文地址:https://www.cnblogs.com/micrari/p/5716851.html
Copyright © 2011-2022 走看看