zoukankan      html  css  js  c++  java
  • HDFS集群安装部署

    1-> 集群的准备工作

     1)关闭防火墙(进行远程连接)  

     firewall-cmd --state                 -- 显示centOS7防火墙状态
     systemctl stop firewalld           -- 关闭防火墙
     systemctl disable firewalld      -- 禁止开机自启动

     2)永久修改设置主机名

     vi /etc/hostname  

    注意:需要重启生效->reboot    

    3)配置映射文件  

    vi /etc/hosts    

    192.168.37.129 hadoop01  

    192.168.37.130 hadoop02  

    192.168.37.131 hadoop03  

    2-> 安装jdk

     1)上传tar包  alt+p  

     2)解压tar包  tar -zxvf jdk    

    3)配置环境变量  

    vi /etc/profile    

    export JAVA_HOME=/root/hd/jdk1.8.0_141  

    export PATH=$PATH:$JAVA_HOME/bin  

     注意:加载环境变量 source /etc/profile    

    4)发送到其它机器  

    scp -r /root/soft/jdk1.8.0_141/ hadoop02:/root/soft/jdk1.8.0_141  

    scp -r /root/soft/jdk1.8.0_141/ hadoop03:/root/soft/jdk1.8.0_141  

    scp -r /etc/profile hadoop02:/etc  

    scp -r /etc/profile hadoop03:/etc  

     注意:加载环境变量 source /etc/profile    

    5)配置ssh免密登录  

    ssh-keygen 生成密钥对

    ssh-copy-id 自己   

    ssh-copy-id 其它   

    ssh-copy-id 其它   

    3-> 安装HDFS集群

     1) 修改hadoop-env.sh  

    export JAVA_HOME=/root/apps/jdk1.8.0_60

     2) 修改core-site.xml

    <configuration>
         //配置hdfs
         <property>
         <name>fs.defaultFS</name>
         <value>hdfs://hadoop01:9000</value>
         </property>
    </configuration>

     3) 修改hdfs-site.xml

    <configuration>
            //配置元数据存储位置
            <property>
            <name>dfs.namenode.name.dir</name>
            <value>/root/hd/dfs/name</value>
            </property>
            //配置数据存储位置
            <property>
            <name>dfs.datanode.data.dir</name>
            <value>/root/hd/dfs/data</value>
            </property>
    </configuration>

    4)格式化namenode

    hadoop namenode -format    

    注意:只在主节点执行 

    5)分发hadoop到其它机器  

    scp -r ~/hd/hadoop-2.8.4/ hadoop02:/root/soft/  

    scp -r ~/hd/hadoop-2.8.4/ hadoop03:/root/soft/  

     6)配置hadoop环境变量  

    vi /etc/profile  

    export JAVA_HOME=/root/hd/jdk1.8.0_141  

    export HADOOP_HOME=/root/hd/hadoop-2.8.4  

    export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin    

    7)分发hadoop环境变量  

    scp -r /etc/profile hadoop02:/etc    

    scp -r /etc/profile hadoop03:/etc    

    注意:加载环境变量 source /etc/profile  

    8)启动namenode  

    hadoop-daemon.sh start namenode    

    9)启动datanode  

    hadoop-daemon.sh start datanode    

    10)访问namenode

    提供的web端口:50070    

    4-> 自动批量的启动脚本

    1)修改配置文件slaves

    hadoop02  

    hadoop03    

    2)执行启动命令  

    start-dfs.sh  

    stop-dfs.sh

  • 相关阅读:
    Windows10远程桌面连接提示:出现身份验证错误,要求的函数不受支持
    mybatis 中 if-test 判断大坑
    hutool的DateUtil工具类
    SpringBoot启动过程
    数据库事务的隔离级别
    EasyUI管理后台模板(附源码)
    springmvc中自定义拦截器以及拦截器的执行过程
    文件上传(MultipartFile)
    文件下载(使用springmvc框架中ResponseEntity对象)
    json格式实现数据传输
  • 原文地址:https://www.cnblogs.com/cmbk/p/10125872.html
Copyright © 2011-2022 走看看