zoukankan      html  css  js  c++  java
  • hadoop学习之路1--centos7群集安装

    一、              安装centos7

    1、  设置硬盘为单文件40G、CPU 2核、内存2G。其他默认。

    2、  安装时选择gnome,具备操作界面,并增加hadoop的账号。

    a)         Root密码为centos7x64

    b)         hadoop的密码为123

    安装介质为:CentOS-7-x86_64-DVD-1810。

    3、  使用root账户登陆

    4、  配置网络,将自动获取地址修改为手动。Ip地址修改为 192.168.79.100

    4、使用“终端”关闭防火墙。

    firewall-cmd --state             看看防火墙状态

    systemctl stop firewalld.service       关闭防火墙

    systemctl disable firewalld.service       禁用防火墙

     

    5、  安装java,查看Java版本

    java -version

     

    卸载openjdk

    查看已安装文件:rpm -qa | grep java

     

    获取权限:su root

    开始删除:

    rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64

    rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64

    rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.191-2.6.15.5.el7.x86_64

    rpm -e --nodeps java-1.7.0-openjdk-1.7.0.191-2.6.15.5.el7.x86_64

    查看删除情况:java –version

     

    下载java12版本。通过界面在/usr下建立java文件夹。将java包copy到文件夹下,解压缩,最终形成目录:/usr/java/ jdk-12.0.2

    找到:/etc/ profile 文件,并打开它,在文档末尾增加

    export JAVA_HOME=/usr/java/jdk-12.0.2

    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    export PATH=$PATH:$JAVA_HOME/bin

    激活配置文件:source /etc/profile

     

    6、通过VM 制作多个克隆

    主节点:hadoopM

    从节点1:hadoopS1

    从节点2:hadoopS2

    7、修改IP地址,

    将每个机器的IP修改,为100~102;其他保持不变,具体参数见下表

    8、修改主机名

    a.修改hostname

    ①# hostname 

    查看当前主机名

    ②#hostnamectl set-hostname  hadoopM

    修改主机名

    ③#reboot

    重启

     

    方法二:直接界面修改:

     

    9、修改hosts文件

    输入vi /etc/hosts命令:

    打开文件后,按i进入编辑模式,最后插入

    192.168.79.100   hadoopM

    192.168.79.101   hadoopS1

    192.168.79.102   hadoopS2

    按esc进入命令模式,输入:wq保存并退出。然后重启电脑

    vm名称

    名称

    hostname

    ip

    子网掩码

    网关

    CentOS7x64M

    Hadoop主节点

    hadoopM

    192.168.79.100

    255.255.255.0

    192.168.79.2

    CentOS7x64S1

    Hadoop从节点1

    hadoopS1

    192.168.79.101

    255.255.255.0

    192.168.79.2

    CentOS7x64S2

    Hadoop从节点2

    hadoopS2

    192.168.79.102

    255.255.255.0

    192.168.79.2

    方法二:

    10、配置免密登陆。

    查看ssh状态(三台机器都要执行):systemctl status sshd.service

    设置开启自启动:systemctl enable sshd.service

    A、生成秘钥(三台机器都要执行):ssh-keygen -t rsa

    (查看文件夹文件:进入.ssh目录。cd /root/.ssh)

     

    B、设置权限(三台机器都要执行):
    cd ~
    chmod 700 .ssh                                                                                                
    chmod 600 .ssh/*                                                                                              
    ls -la .ssh  

     

    C、把公钥文件放入授权文件中(三台机器都要执行)

    cd /root/.ssh

    cat id_rsa.pub >> authorized_keys

     

    配置:ssh hadoops1

    注意网络是否开启。如果未开启可能会出现以下情况。或者说ssh服务未开启。Ssh使用的是22的端口

     

    D、将其他机器的公钥拷贝到第一台(hadoopm)机器authorized_keys文件中:

    ssh-copy-id -i ~/.ssh/id_rsa.pub root@ip

     

    F、将第一台机器(hadoopm)的authorized_keys复制到其他机器

    scp /root/.ssh/authorized_keys ip:/root/.ssh/

     

    G、配置完毕后测试免密登陆

    ssh hadoops1

     

    参考资料:

    https://blog.csdn.net/hliq5399/article/details/78193113 史上最详细的Hadoop环境搭建

    https://www.cnblogs.com/mengzj233/p/9756099.html  Centos7 搭建 hadoop3.1.1 集群教程

    https://blog.csdn.net/code__online/article/details/80178032  hadoop集群搭建(超详细版)

    https://www.cnblogs.com/sxdcgaq8080/p/7492426.html【Linux】CentOS7下安装JDK详细过程

    https://www.jb51.net/article/94599.htm   Linux下实现免密码登录(超详细)

    https://www.cnblogs.com/koudaiyoutang/p/10212814.html   centos7:ssh免密登陆设置

  • 相关阅读:
    python-opencv-绘图函数
    sublime下package control安装无效解决
    关于vue.js中slot的理解
    关于vue.js父子组件数据传递
    oAuth2.0及jwt介绍
    nodejs文件上传组件multer使用
    nodejs设置服务端允许跨域
    添加swagger api文档到node服务
    关于for循环里面异步操作的问题
    nodejs记录2——一行代码实现文件下载
  • 原文地址:https://www.cnblogs.com/pfengk/p/11417973.html
Copyright © 2011-2022 走看看