zoukankan      html  css  js  c++  java
  • 大数据学习02_Linux集群搭建

    前几天将大数据基础(集群搭建,Zookeeper,hdfs,zookeeper和HDFS的javaAPI操作,MapReduce)学习完了,今天用写博客的方式回顾一下学到的知识,先回顾集群的搭建:

        集群的搭建大致有以下几个步骤:

        1.在VMware虚拟网卡下配置好网关,IP和DNS,并且确保windows系统确认所有的关于VmWare的服务都已经启动。

       2.复制虚拟机,并配置好虚拟机的内存。

       3.进行集群规划并且修改虚拟机的MAC地址、ip地址、主机名、域名映射。

            3.1每台虚拟机更改mac地址(命令): vim /etc/udev/rules.d/70-persistent-net.rules

                 

            3.2每台虚拟机更改IP地址: vim /etc/sysconfig/network-scripts/ifcfg-eth0

            3.3每台虚拟机修改对应主机名 vi /ect/sysconfig/network

            3.4每台虚拟机 设置ip和域名映射 vim /etc/hosts

       4.虚拟机关闭防火墙和SELinux

          service iptables stop   #关闭防火墙

          chkconfig iptables off  #禁止开机启动

        5.虚拟机免密码登录

           5.1三台机器生成公钥与私钥(命令:ssh-keygen -t rsa)

           5.2拷贝公钥到同一台机器(命令:ssh-copy-id 虚拟机名称1)

           5.3复制第一台机器的认证到其他机器(命令:scp /root/.ssh/authorized_keys 虚拟机名称2:/root/.ssh)

        6.三台机器时钟同步

            6.1## 安装 yum install -y ntp #

            6.2# 启动定时任务 crontab -e

            6.3将*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;输入到文件里面保存。大致意思是:每个一个小时就向阿里云发出请求校准时间。

    以上就是搭建Linux集群的核心步骤。

    希望对看到的小伙伴有所帮助。

    还有一点我用的远程连接工具是finalshell

  • 相关阅读:
    python encode 理解
    java类中的static代码块作用
    stanford 词性标注中词性的解释
    Stanford3.8.0依存句法分析在java中运行
    nginx和flask安装与配置
    docker使用
    docker安装
    哈工大分词安装及使用linux
    哈工大分词器中自定义词典的使用
    zookeeper集群安装
  • 原文地址:https://www.cnblogs.com/g414056667/p/13562380.html
Copyright © 2011-2022 走看看