zoukankan      html  css  js  c++  java
  • 大数据Hadoop第十一周——四台电脑的集群配置

    大数据第十一周

    1.物理集群的验证

    • 开启本组所有电脑(4台),拷贝虚拟机映像,打开。在开启虚拟机之前,设置虚拟机内存是4G,处理器是4,网络连接是桥接模式。

    也可以在图形界面配

    • 把桥接网卡绑定到具体的物理网卡,不要使用自动绑定。
    • 设置完成后,启动寻虚拟机。

     

    2.设置网络连接

    • 编辑网络配置文件:/etc/sysconfig/network-scripts/ifcfg-ens33。

    • IP地址设置如下:(其中50要改成你自己的ip)

    IPADDR=172.21.12.79(左1)

    IPADDR=172.21.12.80(左2)

    IPADDR=172.21.12.81(右2)

    IPADDR=172.21.12.82(右1)

    PREFIX=24

    GATEWAY=172.21.12.254

    DNS1=172.16.3.8

    • 修改完成之后,输入systemctl restart network即可

    3.设置hostname和域名解析

    修改集群各个机器的名字和域名解析文件计算机名

    sudo vi /etc/hostname

    80 master

    79 slave0

    81 slave1

    82 slave2

    50 slave4

    sudo vi /etc/hosts

    172.21.12.80 master

    172.21.12.79 slave0

    172.21.12.81 slave1

    172.21.12.82 slave2

    172.21.12.50 slave4

    4.关闭防火墙

    • 检查防火墙状态:sudo systemctl status firewalld.service
    • 关闭防火墙:sudo systemctl stop firewalld.service
    • Disable防火墙:sudo systemctl disable firewalld.service
    • 如果不执行Disable防火墙,下次启动时,防火墙还会启动。
    • 重启三个节点,重启后,分别用sudo systemctl status firewalld.service命令检查所有节点的防火墙状态,要求看到inactive(dead)提示。

    5.设置ssh免密登录

    • 由于以前做过免密,所以会提示出错,看提示是否有修改错误的指令,如:删除~/.ssh文件后重做,命令:rm –r .ssh(ls –a查看隐藏文件)
    • 先ssh 要登录的虚拟机,然后exit。
    • 进入目录:cd .ssh/
    • 产生密码:ssh-keygen -t rsa(只需要输入一次)
    • 传送公钥:ssh-copy-id 要登陆的虚拟机名
    • 验证:ssh 要登陆的虚拟机名
    • 如果不需要密码就说明成功了。**如果在物理机集群上安装,需要安装时钟同步工具,保证每个节点的时钟相同。在虚拟机上安装不需要。**
    • 我们有三个节点,所以每个虚机需要3个免密登录。
    • 我们有三个节点,要传三个公钥,包括自己。

    6.安装时钟同步

    • 将时区设置为上海:sudo timedatectl set-timezone Asia/Shanghai
    • 使用chrony,因为centos7已经内置chrony,所以只要配置就好。
    • 选择一个本地时钟服务器,对于时钟服务器修改cd /etc sudo vi chrony.conf,要允许其他节点进行连接,
    • 对于主节点:添加allow 172.21.12.0/24;
    • 对于其他节点:删除已有的四行配置,添加server master iburst

    • 时钟配置完成后检查,用命令:检查chronyc sources。除了主节点外,其它节点只会显示master。
    • 服务开启命令:systemctl enable chronyd.service  和 systemctl start chronyd.service
  • 相关阅读:
    回归模型与房价预测
    朴素贝叶斯应用:垃圾邮件分类
    sklearn中的朴素贝叶斯模型及其应用
    朴素贝叶斯
    KMEAMS算法应用:图片压缩与贝叶斯公式理解
    第九周 课堂
    numpy数组及处理:效率对比
    完整的中英文词频统计
    杜-----------前期作业小笔记
    django_apscheduler 0.4.0删除了name字段
  • 原文地址:https://www.cnblogs.com/caiyishuai/p/13270521.html
Copyright © 2011-2022 走看看