zoukankan      html  css  js  c++  java
  • 简洁搭建hadoop伪分布式文件系统

    Hadoop伪分布式搭建

    之前我有发布一篇在腾讯云上搭建hadoop伪分布式文件系统的博客,最后,简化简化再简化,整理出了所有的关键步骤。不能再简化啦->!!<-,希望能够帮到您

    1.安装ssh(免登陆)

    yum install ssh
    ssh-keygen -t rsa

    cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

    2. jdk安装与配置
           下载:http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html
    解压:tar -zxvf jdk-7u80-linux-x64.tar.gz -C /home/softwares
    添加到系统环境变量: ~/.bash_profile 或者 vim /etc/profile
    export JAVA_HOME=/home/softwares/jdk1.7.0_80
    export PATH=$JAVA_HOME/bin:$PATH
    环境变量生效: source ~/.bash_profile 或者/etc/profile
    验证java是否配置成功: java -version


    3.下载、解压、安装hadoop
    下载:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz 
    解压:tar -zxvf hadoop-2.6.0-cdh5.7.0.tar.gz -C /home/softwares
    继续添加到系统环境变量: ~/.bash_profile 或者 vim /etc/profile
    export HADOOP_HOME=/home/softwares/jdk1.7.0_80
    export PATH=$HADOOP_HOME/bin:$PATH
    环境变量生效: source ~/.bash_profile 或者/etc/profile
    验证java是否配置成功:hadoop  version


    4.修改hadoop配置文件
    目录在:HADOOP_HOME/etc/hadoop
    hadoop-env.sh
    export JAVA_HOME=/home/softwares/jdk1.7.0_80


    core-site.xml
    <property>
            <name>fs.defaultFS</name>
            <value>hdfs://local:8020</value>
    #配置默认文件系统的地址
        </property>


        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/hadoop/app/tmp</value>
    #临时文件的存储目录
        </property>


    hdfs-site.xml
    <property>
            <name>dfs.replication</name>
            <value>1</value>
    #设置副本系数
        </property>


    补充说明一下:slaves 文件里面装所有datanode的名称  

    5.启动hdfs
    目录在:HADOOP_HOME/sbin
    格式化文件系统
    hdfs/hadoop namenode -format(仅第一次执行即可,不要重复执行)
    启动hdfs: ./start-dfs.sh

    验证是否启动成功:jps

        

    DataNode
    SecondaryNameNode

    NameNode

     出现上面的就对啦,一个都不能少哟!

    停用防火墙

    systemctl stop firewalld.service

    开机不启动

    systemctl disable firewalld.service

    你也可以使用浏览器访问方式: http://localhost:50070

    祝你学习愉快!!

  • 相关阅读:
    CentOS7 设置软件镜像源
    让树莓派自动上报IP地址到邮箱,二代B
    给树莓派安装看门狗的两种方法,二代B
    树莓派(Raspberry Pi)USB无线网卡自动连接,二代B
    升级MAC OX上的Python到3.4
    http 返回码 405 解决方案之一
    CentOS 6.4 SSH 免密码登录
    SVN的Hooks功能--强制添加注释
    PHP开发中,让var_dump调试函数输出更美观 ^_^#
    CentOS 6.4 命令行 安装 VMware Tools
  • 原文地址:https://www.cnblogs.com/liuge36/p/12614846.html
Copyright © 2011-2022 走看看