zoukankan      html  css  js  c++  java
  • 搭建hadoop(hadoop-1.1.2)伪分布环境

    hadoop安装

      关闭防火墙
      修改ip
      修改hostname
      设置ssh自动登录
      安装jdk
      安装hadoop

    1.将hadoop-1.1.2.tar.gz上传到/usr/local/,解压并改名为hadoop

      

    2.配置hadoop环境变量,编辑/etc/profile文件,在该文件底部添加如下内容(包括java)

    export JAVA_HOME=/usr/local/jdk
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

    让配置立即生效:source /ect/profile

    3.修改hadoop配置文件

       1. 在hadoop下的conf/hadoop-env.sh文件,增加:export JAVA_HOME=/usr/local/jdk

       2.修改hadoop下的core-site.xml

    <configuration>
        <property>
            <name>fs.default.name</name>
            <value>hdfs://localhost:9000</value>
            <description>change your own hostname</description>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/usr/local/hadoop/tmp</value>
        </property>  
    </configuration>

      3.修改hadoop下的hdfs-site.xml

    <configuration>
        <property>
            <name>dfs.replication</name>
            <value>1</value>
        </property>
        <property>
            <name>dfs.permissions</name>
            <value>false</value>
        </property>
    </configuration>

      4.修改mapred-site.xml

    <configuration>
        <property>
            <name>mapred.job.tracker</name>
            <value>localhost:9001</value>
            <description>change your own hostname</description>
        </property>
    </configuration>

     4.验证hadoop是否安装成功

      1.首先格式化工作空间:hadoop namenode -format

      2.启动hadoop:start-all.sh

      3.启动本地浏览器访问

        http://localhost:50030/(MapReduce的页面)

        http://localhost:50070/(HDFS的页面) 

      如果出现如下效果则证明安装成功!

      

  • 相关阅读:
    [SUCTF 2019]EasySQL 1【BUUCFT】【SQL注入】
    [HCTF 2018]WarmUp 1【BUUCFT】【代码审计】
    [强网杯 2019]随便注 1 【BUUCFT】【SQL注入】
    网站如何做好防护
    【单片机】换行、回车
    【Win32】VC6 Visual C/C++ 6.0 修改程序图标
    【Win32】通过多线程自动关闭对话框的方法
    微服务demo
    Mac安装redis
    python---rsa加密根据指数和模生成加密参数模板
  • 原文地址:https://www.cnblogs.com/lzxl/p/3916886.html
Copyright © 2011-2022 走看看