zoukankan      html  css  js  c++  java
  • 大数据学习——CentOS6.5在虚拟机下搭建HDFS

    接下来就是最关键的步骤,安装hadoop搭建HDFS分布式文件系统,主要是配置伪分布式的操作

    下边是我操作过程

    Hadoop安装及HDFS伪分布式配置

    1、解压hadoop(此处省略了上传hadoop jar包的过程,其操作在jdk配置上传jdk jar包方法相同)此处是

    2、配置hadoop.sh文件

    此处配置的目录仍为 hadoop/profile.d,与jdk,目录一致,如果目录不一致当配置完成后开启服务时会报错提示JAVA_HOME CON'T FOUND

     3、验证配置

     

    至此,hadoop安装配置完成,接下来搭建HDFS

    4、接下来在etc/hadoopcore-site.xml文件及hdfs-site.xml文件,这里我们打开npp进行配置

    配置Core-site.xml

    1)从core-default.xml中找到以下内容配置到core-site.xml

    2Fs.defaultFS value值为hdfs:+对应主机ip

    注:Hadoop.tmp.dir代表临时文件 在配置时需要注意,hadoop先自带的tmp临时文件会定期清理所以需要自己建立一个tmp文件,value值即对应的tmp文件所在目录

    3)自己建立目录

    core-site.xml配置完成,接下来配置Hdfs-site.xml

    配置hdfs-site.xml

    (1)对于HDFS来说最主要就是两部分namenode和datanode接下来配置这两部分

     

    这里的value值均是刚刚我们建立的文件路径

    (2)hdfs-site.xml中配置副本数,value 代表副本数 伪分布式下一般为1

    2)权限配置

    权限检查,将里边的部分改成false

     

    最终配置内容如下

    5、检查虚拟机主机名是否更改(这里需要注意这一步是必须的,如果更改一定要配置映射)下边是我的主机名,这里代表着没有更改

    6、格式化hadoop

    7、格式化完成后进入hadoop目录下sbin 运行start-dfs.sh,成功运行及完成配置

     

    尝试在Hdfs下存文件

     

     

  • 相关阅读:
    JAVA 注解的几大作用及使用方法详解
    内省、JavaBean、PropertyDescriptor类、Introspector类、BeanUtils工具包、注解、Rentention、Target、注解的基本属性和高级属性
    关于Hash集合以及Java中的内存泄漏
    ifconfig命令详情
    route命令详情
    ping命令详解
    scp命令详解
    ssh命令详解
    telnet命令详解
    sudo命令详解
  • 原文地址:https://www.cnblogs.com/yuezhihao/p/9305553.html
Copyright © 2011-2022 走看看