zoukankan      html  css  js  c++  java
  • VM搭建hadoop分布式集群

    1.  安装VMware Workstation Pro

    2.安装Ubuntu-16.04

    3.以下全程使用sudo –s 切换root权限

    4.更新deb软件包列表:apt-get update

    5.安装系统更新           apt-get upgrade

    6.安装JDK8到/opt/java8

      改变所属组和用户

      cd /opt

      sudo chown cc:cc java8

    7.设置CLASSPATH 和JAVA_HOME,这里我使用的是gedit /etc/profile的方式设置

        export JAVA_HOME=/opt/java8

        export PATH=$JAVA_HOME/bin:$PATH

         export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

    8.从http://hadoop.apache.org/下载hadoop-2.7.3.tar.gz

        tar -zxvf hadoop-2.7.3.tar.gz 解压

        改变所属组和用户

        cd /opt

        chown cc:cc hadoop-2.7.3

    9.更新hadoop环境变量

        gedit hadoop/conf/hadoop-env.sh

        将#export JAVA_HOME= ***   这一行改为:

        export JAVA_HOME=/opt/java8  (注:此处java_home 一定要硬编码)

    10.gedit /etc/profile配置环境变量 export HADOOP_HOME=/opt/hadoop-2.7.3

    11.配置ssh
      apt-get install ssh

      查看是否已经安装好ssh  –V

         

      检查是否生成/root/.ssh目录,没生成的话用mkdir生成一个,如图:

        

      生成公钥:ssh-keygen

        

      公钥密码可以留空

         

      检查/root/.ssh目录是否生成文件authorized_keys,如果没有使用touch authorized_keys 生成一个

      把公钥的内容复制到authorized_keys文件中cat id_rsa.pub >> authorized_keys

      修改authorized_keys权限为600: chmod 600  authorized_keys

      验证是否配置成,命令:ssh localhost

         

    12.克隆两台虚拟机

    13.建立三台虚拟机的通信

         新增的两台虚拟机会在电脑的网络连接里多两个连接 

        

      设置共享原来的本地连接

       

      设置虚拟机连接

       

      设置IP地址,DNS可以不设

       

      在第一台虚拟机里新曾一个网络连接

       

      分别再设置另两个CC02,CC03的IP分别为:192.168.100.129、192.168.100.131

      之后三个虚拟机通信使用连接wired connection1

    14.使用CC01为NameNode,CC03,CC03为DataNode

    15.gedit /etc/hosts

      添加数据:

        192.168.198.140  CC01

        192.168.198.141  CC02

        192.168.198.142  CC03

    16.配置SSH

          在CC02CC03上分别执行

        scp root@CC01:/root/.ssh/id_rsa.pub  /root/.ssh/CC01_rsa.pub

        cat CC01_rsa.pub >> authorized_keys

      在CC01上执行

        scp root@CC01:/root/.ssh/id_rsa.pub  /root/.ssh/CC01_rsa.pub

        cat  /root/.ssh/CC01_rsa.pub  >>  /root/.ssh/authorized_keys

    17.配置conf/masters , conf/slaves

      在所有节点上:

        gedit /opt/hadoop-2.7.3/etc/hadoop/加入一行:CC01

        gedit /opt/hadoop-2.7.3/etc/hadoop/slaves加入行:

          CC02

          CC03

    18.配置core-site.xml

      <configuration>

          <property>

              <name>fs.default.name</name>

         <value>hdfs://CC01:9000</value>

          </property>

      </configuration>

    19.配置hdfs-site.xml:

      <configuration>
          <property>
              <name>dfs.replication</name>
            <value>1</value>
          </property>
          <property>
              <name>dfs.namenode.name.dir</name>
            <value>file:///opt/hadoop-2.7.3/hdfs/name</value>
          </property>
          <property>
              <name>dfs.datanode.data.dir</name>
            <value>file:///opt/hadoop-2.7.3/hdfs/data</value>
          </property>
      </configuration>

    记得:

             mkdir /opt/hadoop-2.7.3/hdfs/name

             mkdir /opt/hadoop-2.7.3/hdfs/data

    20.配置mapred-site.xml:

    <configuration>

        <property>

            <name>mapred.job.tracker</name>

    <value>CC01:9001</value>

        </property>

    </configuration>

    21.格式化分布式文件系统

    在namenode上

             /opt/hadoop-2.7.3/bin/hdfs namenode –format

    22.启动HDFS,在namenode上

             /opt/hadoop-2.7.3/sbin/start-dfs.sh

       

       jps命令查看

      

     

  • 相关阅读:
    .NET Core部署到linux(CentOS)最全解决方案,常规篇
    C#规则引擎RulesEngine
    Angular—都2019了,你还对双向数据绑定念念不忘
    HTTP Error 500.30
    ConsoleUDPServer与ConsoleUDP
    基于WMI获取USB设备信息(即获取插即用设备信息)System.Management.ManagementObjectSearcher--ManagementObjectCollection
    基于WMI获取USB设备信息(即获取插即用设备信息)----WMI使用的WIN32_类库名
    基于WMI获取USB设备信息(即获取插即用设备信息)System.Management.ManagementObjectSearcher--ManagementObjectCollection
    C#使用Emgu.CV.dll进行图像处理---使用EmguCV获取摄像头和读取视频
    Windows 10系统“家庭版”到“专业版”的转换
  • 原文地址:https://www.cnblogs.com/cici20166/p/6266367.html
Copyright © 2011-2022 走看看