zoukankan      html  css  js  c++  java
  • Hadoop之HDFS集群搭建笔记

    0.修改IP,主机名,hosts文件
    setup        修改网卡IP
    service  network  restart        重启网络服务使IP生效
    vim /etc/sysconfig/network修改主机名
    vim /etc/hosts/修改hosts文件
    192.168.126.128 hadoop001
    192.168.126.129 hadoop002
    192.168.126.130 hadoop003
    192.168.126.131 hadoop004
    1.安装jdk环境
    alt + p        打开远程连接SecureCRT远程传输工具sftp   put    c:/........tar.gz        把win上软件传到linux
            mkdir -p /java/jdk        建多级文件夹
            tar -zxvf jdk----.tar.gz  -C  /java/jdk        解压jdk到指定路径
            vim /etc/profile        修改全局环境变量
                    export JAVA_HOME=/java/jdk/jdk1.7.0_65
    export PATH=$JAVA_HOME/bin:$PATH
    source /etc/profile重新加载配置文件
    echo$JAVA_HOME打印变量JAVA_HOME
    java -version查看环境变量配置是否成功
    安装protobuf
    tar -zxvf protobuf-2.5.0.tar.gz 
    cd protobuf-2.5.0
    ./configure --prefix=/opt
    配置环境变量加入/opt/bin
    protoc -–version
    2.安装Hadoop
    tar -zxvf hadoop-2.4.1.tar.gz -C /java/     #解压Hadoop
    ls lib/native/                              #查看解压目录下有哪些文件
    cd etc/hadoop/                              #进入配置文件目录
    vim hadoop-env.sh                           #修改配置文件环境变量(export JAVA_HOME=/java/jdk/jdk1.7.0_65)
    *-site.xml*
    vim core-site.xml                           #修改配置文件(去官网找参数含义)
    <configuration>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop001:9000<value>
    </property>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/java/hadoop-2.4.1/tmp<value>
    </property>
    </configuration>
    vim hdfs-site.xml修改hdfs配置文件
    <configuration>
    <property>
    <!-- 副本数量,默认3 -->
    <name>dfs.replication</name>
    <value>2</value>
    </property>
    </configuration>
    cp mapred-site.xml.template mapred-site.xml    #复制一份配置文件样本
    vim mapred-site.xml                               #修改mapreduce配置文件
    <configuration>
    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>
    </configuration>
    vim yarn-site.xml配置yarn配置文件,也可以配置主机名,前提是修改hosts文件映射
    <configuration>
    <!-- Site specific YARN configuration properties -->
    <!-- 主节点 -->
    <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop001</value>
    </property>
    <!-- 从节点 -->
    <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    </property>
    </configuration>
    vim slaves配置从节点(可以是主机名)
    192.168.126.128
    192.168.126.129
    192.168.126.130
    scp /java/hadoop-2.4.1/ root@192.168.126.129:/java/hadoop-2.4.1/       #复制到其他机器
    cd /java/hadoop-2.4.1/bin
    ./hadoop namenode -format                                              #格式化HDFS文件系统(建文件和文件夹)
    # 成功:INFO common.Storage: Storage directory /java/hadoop-2.4.1/tmp/dfs/name has been successfully formatted
    3.启动
    jps看java进程,此时什么都没有
    cd sbin/        #到sbin下找启动命令
    ./start-dfs.sh  #启动hdfs
    [root@hadoop001 sbin]# jps
    2488 NameNode
    2746 SecondaryNameNode
    2872 Jps
    2601 DataNode
    [root@hadoop002 ~]# jps
    2422 DataNode
    2485 Jps
    4.启动hdfs客户端
    cd /java/hadoop-2.4.1/bin    #进入bin
    ./hdfs dfs -ls /             #查看hsfs /下内容
    ./hdfs dfs -put /root/install.log   #hdfs://hadoop001:9000/向hdfs文件系统存入文件(每块128M)
    ./hdfs dfs -ls /             #查看hsfs /下内容
    ls /java/hadoop-2.4.1/tmp/dfs/    #查看文件保存位置(namenode,datanode)
    ls /java/hadoop-2.4.1/tmp/dfs/(datanode)   #只有data文件夹
    cd /java/hadoop-2.4.1/tmp/dfs/data/current/BP-343820156-192.168.126.128-1443868868316/current/finalized       #查看文件分了几块
    ./hdfs dfs -get  hdfs://hadoop001:9000/install.log        #从hdfs上把文件下载下来(get后面指定下载的目录)
    原理:
    touch hadoop.tar.gz    #建一个空文件
    cat block1 >> hadoop.tar.gz  #把block追加到hadoop.tar.gz
    cat block2 >> hadoop.tar.gz  #把block2追加到hadoop.tar.gz
     
    ./hdfs dfshdfs  #其他命令
    ./hdfs dfs -chown tangwan:hadoop /install.log  #改变hdfs文件用户所有者和组
    ./hdfs dfs -ls /install.log  #查看更改后状态
    ./hdfs dfs -chmod 600 /install.log  #更改权限
    ./hdfs dfs -ls /  #查看权限
    #改权限后用户依旧可以下载但是如果建一个文件夹给权限,就只能是指定权限用户上传
    ./hdfs dfs -df /    #查看hdfs还剩多少空间kb
    ./hdfs dfs -df -h /  #查看hdfs还剩多少空间M,G
    ./hdfs dfs -mkdir -p /aaa/bbb  #在hdfs创建文件夹
            ./hadoop fs -du -s /    #查看hdfs占用空间
     
    停止hdfs:
    /java/hadoop-2.4.1/sbin  #进入sbin
    ./stop-dfs.sh  #停止hdfs
    # hadoop001:50070 浏览器界面(可以下载不可以上传)
    博采众长才能相互印证,故步自封必将粗陋浅薄!
  • 相关阅读:
    spring cloud 和 阿里微服务spring cloud Alibaba
    为WPF中的ContentControl设置背景色
    java RSA 解密
    java OA系统 自定义表单 流程审批 电子印章 手写文字识别 电子签名 即时通讯
    Hystrix 配置参数全解析
    spring cloud 2020 gateway 报错503
    Spring Boot 配置 Quartz 定时任务
    Mybatis 整合 ehcache缓存
    Springboot 整合阿里数据库连接池 druid
    java OA系统 自定义表单 流程审批 电子印章 手写文字识别 电子签名 即时通讯
  • 原文地址:https://www.cnblogs.com/tangwan/p/5860571.html
Copyright © 2011-2022 走看看