zoukankan      html  css  js  c++  java
  • 大数据学习02_Linux集群搭建

    前几天将大数据基础(集群搭建,Zookeeper,hdfs,zookeeper和HDFS的javaAPI操作,MapReduce)学习完了,今天用写博客的方式回顾一下学到的知识,先回顾集群的搭建:

        集群的搭建大致有以下几个步骤:

        1.在VMware虚拟网卡下配置好网关,IP和DNS,并且确保windows系统确认所有的关于VmWare的服务都已经启动。

       2.复制虚拟机,并配置好虚拟机的内存。

       3.进行集群规划并且修改虚拟机的MAC地址、ip地址、主机名、域名映射。

            3.1每台虚拟机更改mac地址(命令): vim /etc/udev/rules.d/70-persistent-net.rules

                 

            3.2每台虚拟机更改IP地址: vim /etc/sysconfig/network-scripts/ifcfg-eth0

            3.3每台虚拟机修改对应主机名 vi /ect/sysconfig/network

            3.4每台虚拟机 设置ip和域名映射 vim /etc/hosts

       4.虚拟机关闭防火墙和SELinux

          service iptables stop   #关闭防火墙

          chkconfig iptables off  #禁止开机启动

        5.虚拟机免密码登录

           5.1三台机器生成公钥与私钥(命令:ssh-keygen -t rsa)

           5.2拷贝公钥到同一台机器(命令:ssh-copy-id 虚拟机名称1)

           5.3复制第一台机器的认证到其他机器(命令:scp /root/.ssh/authorized_keys 虚拟机名称2:/root/.ssh)

        6.三台机器时钟同步

            6.1## 安装 yum install -y ntp #

            6.2# 启动定时任务 crontab -e

            6.3将*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;输入到文件里面保存。大致意思是:每个一个小时就向阿里云发出请求校准时间。

    以上就是搭建Linux集群的核心步骤。

    希望对看到的小伙伴有所帮助。

    还有一点我用的远程连接工具是finalshell

  • 相关阅读:
    Linux常用命令
    python_并发编程——多进程的第二种启动方式
    python_并发编程——多进程
    python_面向对象——动态创建类和isinstance和issubclass方法
    python_面向对象——双下划线方法
    python_反射:应用
    python_反射——根据字符串获取模块中的属性
    python_面向对象——反射
    python_面向对象——属性方法property
    python_面向对象——类方法和静态方法
  • 原文地址:https://www.cnblogs.com/g414056667/p/13562380.html
Copyright © 2011-2022 走看看