zoukankan      html  css  js  c++  java
  • Ubuntu18.0.4配置Hadoop1.2.1环境

    在虚拟机中安装Linux,我这里选用VMware虚拟机;Linux版本是Ubuntu

    VMware安装Ubuntu这里就不做说明了,网上有很多教程

    1.安装jdk

    apt install openjdk-8-jre-headless

    开始安装

    2.配置Java环境变量

    进入/etc/profile文件

    输入以下内容

    export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
    export JRE_HOME=$JAVA_HOME/jre
    export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

     可能会遇到“您没有权限修改”,尝试输入 sudo gedit /etc/profile;再进行编辑

     3.安装hadoop

    输入以下命令,默认安装在桌面(desktop)

    wget https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz

     移动到/opt/下,便于管理

    mv hadoop-1.2.1.tar.gz /opt/

    进入conf文件夹下,cd conf

    编辑hadoop-env.sh

    vim hadoop-env.sh

    编辑core-site.xml

    vim core-site.xml

    在Property里面输入以下配置信息

    <property>
    
    <name>hadoop.tmp.dir</name>
    
    <value>/hadoop</value>
    
    </property>
    
    <property>
    
    <name>dfs.name.dir</name>
    
    <value>/hadoop/name</value>
    
    </property>
    
    <property>
    
    <name>fs.default.name</name>
    
    <value>hdfs://localhost:9000</value>
    
    </property>

    编辑hdfs-site.xml

    vim hdfs-site.xml

    将下面这句话复制到property里

    <property>
    <name>dfs.data.dir</name>
    <value>/hadoop/data</value>
    </property>

    编辑mapred-site.xml

    vim mapred-site.xml

    复制这句话,同理

    <configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
    </property>

    再回到/etc/profile,添加信息如下,配置Hadoop环境变量

    使其生效

    source /etc/profile

    进入/opt/hadoop-1.2.1/bin

    对namenode进行格式化操作

    hadoop namenode -format

    如果之前的配置正确,这一步不应该报异常,报错的话请检查之前四个文件(hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml)的配置是否正确

    启动

     start-all.sh

    然后输入root密码

    最后在/opt/hadoop-1.2.1/bin目录下输入

    jps

    结果如下,至此,Hadoop环境搭建成功

  • 相关阅读:
    c# 让接口实现方法
    码支付 C#
    WebApi 接口返回值类型详解
    阿里云RDS数据库sql server 导入数据并添加作业小结
    IIS 图片 JS CSS 500错误
    XML字符串反序列化为实体
    找不到请求的 .Net Framework Data Provider
    JS通过ClassName禁止DIV点击
    WebRequest请求被中止: 未能创建 SSL/TLS 安全通道
    NetMQ 消息队列
  • 原文地址:https://www.cnblogs.com/Java-Starter/p/9827591.html
Copyright © 2011-2022 走看看