zoukankan      html  css  js  c++  java
  • CenterOS下搭建Hadoop环境

    检查防火墙状态

    service iptables status

    关闭防火墙

    service iptables stop

    查看防火墙开机启动状态

    chkconfig iptables --list

    关闭防火墙开机启动

    chkconfig iptables off

    安装JDK

    查看目前系统jdk

    rpm -qa | grep jdk
    结果为:
    java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
    java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64
    

    卸载:

    rpm -e --nodeps java-1.7.0-openjdk-1.7.0.51-2.4.5.5.el7.x86_64
    rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.51-2.4.5.5.el7.x86_64
    

    下载JDK

    下载地址: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

    • 使用命令下载
    • 下载完成后,拷贝到指定目录(把jdk-7u79-linux-x64.tar.gz放到CentOS目录/usr/lib/jvm中)

    解压JDK

    • tar xvf jdk-7u79-linux-x64.tar.gz

    配置环境

    vi /etc/profile
    
    在文件最下边输入:
    export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_4579
    export JRE_HOME=/usr/lib/jvm/jdk1.7.0_4579/jre
    export CLASSPATH=.:$JRE_HOME/lib/tr.jar:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib:$CLASSPATH
    export PATH=$JAVA_HOME/bin:$PATH
    

    使其立即生效:

    source /etc/profile
    

    验证:

    java -version
    

    下载hadoop

    http://mirror.bit.edu.cn/apache/hadoop/common/

    安装

    • 解压: tar xvf jdk-7u79-linux-x64.tar.gz
    • 配置hadoop环境:vi /etc/profile
    # set hadoop path
    export HADOOP_HOME=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
    • source /etc/profile
    • 修改/usr/local/hadoop/etc/hadoop/hadoop-env.sh
    export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79
    
    • 伪分布式Hadoop2.6.0配置
    etc / hadoop / core-site.xml:
    <configuration>
       <property>
           <name>fs.defaultFS</name>
           <value>hdfs://localhost:9000</value>
       </property>
    </configuration>
    etc / hadoop / hdfs-site.xml:
    <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
    </configuration>
    
    • 启动Hadoop2.6.0
    进入hadoop的bin目录
    cd /usr/local/hadoop/bin
    格式化Hadoop的文件系统HDFS
    hdfs namenode -format
    进入hadoop的sbin目录
    cd /usr/local/hadoop/sbin
    启动所有进程
    start-all.sh
    

    hdfs namenode -format(可能出现的问题)

    用jps查看启动的进程

    Jps
    ResourceManager
    NameNode
    DataNode
    SecondaryNameNode
    NodeManager
    

    浏览器访问

    参考资料

  • 相关阅读:
    noip2016十连测round1
    [bzoj 3732] Network (Kruskal重构树)
    主席树学习笔记
    [ZKW线段树]
    [poj2182] Lost Cows (线段树)
    [模板] 线性筛逆元
    [模板] 线筛欧拉函数
    [模板] SAP
    [poj2411] Mondriaan's Dream (状压DP)
    [poj2247] Humble Numbers (DP水题)
  • 原文地址:https://www.cnblogs.com/tianboblog/p/5887607.html
Copyright © 2011-2022 走看看