完全式分布系统

修改system eth0

　参考资料：https://blog.51cto.com/12629984/1902969
    1.删除原来eth0的配置信息，将eth1行的eth1改为eth0
     vim /etc/udev/rules.d/70-persistent-net.rules
    2.这个时候重启network服务，显示MAC地址与预想地址不符
    service network restart
    会有一行失败
    3.最简单的办法直接删除记录的MAC地址
    vim /etc/sysconfig/network-scripts/ifcfg-eth0
    删除 HWADDR=00:11:eg:33:12:df
    4.再重启network服务查看是否OK
    service network restart



修改主机名    vi /etc/sysconfig/network   改 HOSTNAME=主机名
         vi/etc/hosts    添加   主节点和子节点
配置静态IP地址  vi/etc/sysconfig/network-scripts/ifcfg-eth0
               文件修改为： ONBOOT=yes
                           BOOTPROTO=static
                           IPADDR=192.168.56.2
                           NETMASK=255.255.255.0
                           GATEWAY=192.168.56.1
                           DNS1=192.168.56.1
     关闭防火墙  service iptables stop
                 永久关闭防火墙  chkconfig iptables off
     删除原有JDK     rpm -e --nodeps

     检查SSH是否安装 rpm -qa | grep rsync
           安装SSH协议 yum install ssh     yum install rsync
           SSH是否安装成功  rpm -qa | grep openssh  在执行  rpm -qa | grep rsync
生成SSH公钥　　　ssh-keygen -t rsa   直接回车
                            ssh-copy-id -i ~/.ssh/id_rsa.pub root@主机名

环境变量   vi /etc/profile
    export JAVA_HOME=/root/app/jdk1.8.0_161
    export PATH=$PATH:$JAVA_HOME/bin

    export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
    export PATH=$PATH:$HADOOP_HOME/bin

    export HBASE_HOME=/root/app/hbase-1.2.0-cdh5.7.0
    export PATH=$PATH:$HBASE_HOME/bin

    export HIVE_HOME=/root/app/hive-1.1.0-cdh5.7.0
    export PATH=$PATH:$HIVE_HOME/bin

    export SQOOP_HOME=/root/app/sqoop-1.4.6-cdh5.7.0
    export PATH=$PATH:$SQOOP_HOME/bin
配置hadoop
    1. hadoop-env.sh
        export JAVA_HOME=/root/app/jdk1.8.0_161
        export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
    2.core-site.xml
           <property>
                        <name>fs.default.name</name>
                           <value>hdfs://（namenode的主机名）:9000</value>
                </property>
          #可写可不写
           <property>
                            <name>hadoop.tmp.dir</name>
                            <value>/opt/hdfs/tmp</value>
                       </property>
    3.hdfs-site.xml
           <property>
                      <name>dfs.replication</name>
                        <value>3</value>
               </property>
                <property>
                           <name>dfs.name.dir</name>
                           <value>/root/data/name</value>
                </property>
                <property>
                         <name>dfs.data.dir</name>
                            <value>/root/data/data</value>
                  </property>
                 <property>
                           <name>dfs.namenode.secondary.http-address</name>
                                <value>hdp-02:50090</value>
                           </property>
    4.mapred-site.xml(cp mapred-site.xml.template mapred-site.xml)
          <property>
                             <name>mapreduce.framework.name</name>
                             <value>yarn</value>
                      </property>
    5.yarn-site.xml
                <property>
                            <name>yarn.resourcemanager.hostname</name>
                                <value>hdp-01</value>
                      </property>
                       <property>
                              <name>yarn.nodemanager.aux-services</name>
                            <value>mapreduce_shuffle</value>
                      </property>
                      <property>
                            <name>yarn.nodemanager.resource.memory-mb</name>
                            <value>2048</value>
                       </property>
                      <property>
                            <name>yarn.nodemanager.resource.cpu-vcores</name>
                           <value>2</value>
                       </property>
                              <property>
                                   <name>yarn.resourcemanager.resource-tracker.hostname</name>
                                  <value>hdp-01</value>
                              </property>
               <property>
                              <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
                          </property>
           <property>
                             <name>yarn.resourcemanager.scheduler.hostname</name>
                            <value>hdp-01</value>
                </property>
    6.slaves
        hdp-01
        hdp-02
        hdp-03
        hdp-04
需要上传 /etc/profile      /etc/hosts        hadoop-2.6.0-cdh5.7.0    jdk1.8.0_161
scp -r 需要上传的文件 到那个机器上面的主机名:地址
scp -r /etc/profile hdp-02:/etc      ($PWD的意思是上传到本文件夹的下面)   cd /etc ; scp -r /etc/profile hdp-02:$PWD
格式化  Hadoop namenode -format
然后启动hadoop集群

配置zookeeper
    vi zoo.cfg（cp zoo_sample.cfg zoo.cfg）
        修改数据存储位置     dataDir=/root/data/zookeeper
        在最下边加上     server.2=hdp-02:2888:3888
            server.3=hdp-03:2888:3888
            server.4=hdp-04:2888:3888
         接着，到hdp-02上，新建目录/root/data/zookeeper，并在目录中生成一个文件myid,内容为2
         接着，到hdp-03上，新建目录/root/data/zookeeper，并在目录中生成一个文件myid,内容为3
         接着，到hdp-04上，新建目录/root/data/zookeeper，并在目录中生成一个文件myid,内容为4
    修改完之后把zookeeper-3.4.5-cdh5.7.0传到hdp-03和hdp-04上面
     zookeeper只能一个一个启动因此写一个脚本
     zookeeper批量启动关闭脚本        文件名zkmanage.sh        赋与权限用./执行：chmod +x zkmanage.sh
    #!/bin/bash
    for host in hdp-02 hdp-03 hdp-04
    do
    echo "${host}:${1}ing......"
    ssh $host "source /etc/profile;/root/app/zookeeper-3.4.5-cdh5.7.0/bin/zkServer.sh $1"
    done

    sleep 2

    for host in hdp-02 hdp-03 hdp-04
    do
    ssh $host "source /etc/profile;/root/app/zookeeper-3.4.5-cdh5.7.0/bin/zkServer.sh status"
    done
配置hbase
    hbase.env.sh
        export JAVA_HOME=/root/app/jdk1.8.0_161
        export HBASE_MANAGES_ZK=false
    hbase.site.xml
                <property>
                            <name>hbase.rootdir</name>
                             <value>hdfs://hdp-01:9000/base</value>
                       </property>
                      <property>
                               <name>hbase.cluster.distributed</name>
                               <value>true</value>
                         </property>
                        <property>
                               <name>hbase.zookeeper.quorum</name>
                               <value>hdp-02:2181,hdp-03:2181,hdp-04:2181</value>
                        </property>
    vi regionservers
        hdp-02
        hdp-03
        hdp-04
      修改完之后把hbase-1.2.0-cdh5.7.0传到hdp-02和hdp-03和hdp-04上面
    启动   进入bin目录，启动 ./start-hbase.sh
    启动hbase shell，   输入list 列出表格  
下载MySQL
    查看有无安装过mysql
        rpm -qa|grep mysql
    安装mysql服务
        yum install mysql-server
    设置开机自启动
        chkconfig mysqld on
        chkconfig --list mysqld
    启动mysql
        service mysqld start
    root用户登陆
        mysqladmin -u root password hadoop
        mysql -u root -p
    创建hive数据库用来保存hive元数据
        create database hive;
    使hadoop01(操作系统用户)用户可以操作数据库hive中的所有表:
        grant all on hive.* to root@'(需要登录hive的主机名)' identified by 'hadoop';
        grant all privileges on hive.* to root@'hdp-03' identified by 'hadoop';
        flush privileges;
    修改字符编码
        /etc/my.cnf文件中的所有如下：

        [mysqld]
        datadir=/var/lib/mysql
        socket=/var/lib/mysql/mysql.sock
        user=mysql
        # Disabling symbolic-links is recommended to prevent assorted security risks
        symbolic-links=0
        default-character-set=utf8
        [mysqld_safe]
        log-error=/var/log/mysqld.log
        pid-file=/var/run/mysqld/mysqld.pid
        default-character-set=utf8
        [client]
        port=3306
        default-character-set=utf8
配置hive
    修改hive-site.xml
        <?xml version="1.0" encoding="UTF-8" standalone="no"?>
        <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
        <configuration>
                <property>
                    <name>javax.jdo.option.ConnectionURL</name>
                      <value>jdbc:mysql://（MySQL安装的主机名）:3306/hive?createDatabaseIfNotExist=true</value>
                </property>
            <property>
                        <name>javax.jdo.option.ConnectionDriverName</name>
                        <value>com.mysql.jdbc.Driver</value>
                </property>
                <property>
                        <name>javax.jdo.option.ConnectionUserName</name>
                        <value>root</value>
                </property>
            <property>
                        <name>javax.jdo.option.ConnectionPassword</name>
                        <value>hadoop</value>
                </property>
        </configuration>
    修改hive-env.sh文件
        export JAVA_HOME=/root/app/jdk1.8.0_161
        export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
    追加mysql的jdbc驱动jar包
    在hive解压目录的lib文件夹下添加mysql的jdbc驱动
       修改完之后把hive-1.1.0-cdh5.7.0传到hdp-02和hdp-03和hdp-04上面
    启动hive
    进入Hive命令行，执行命令，创建一个名为test的表,并查询该表的记录数
    create table test(id int);
    select count(*) from test;


配置flume        (在hadoop集群里 哪里需要采集信息那里就配置Flume)
    vi flume-env.sh ( cp flume-env.sh.template flume-env.sh )
        将export  JAVA_OPTS 那行的注释去掉
        修改export JAVA_HOME=/root/app/jdk1.8.0_161
    ***将dir-hdfs.conf导入到Flume中的bin目录下边
        需要注意：ag1.sinks.sink1.hdfs.path =hdfs://hdp-01:9000/access_log/%y-%m-%d/%H-%M
            中的hdp-01:9000 这个是NameNode的主机名
            ag1.sources.source1.spoolDir = /root/data/log
            从什么地方采集的信息
    创建 源目录log 给与777权限 并且在log目录下存放需要采集的数据
    执行命令
        ./flume-ng agent -c conf/ -f dir-hdfs.conf -n ag1 -Dflume.root.logger=INFO,console

配置sqoop   （只要在hadoop集群里有MySQL 就可以使用sqoop导入导出）
    注意：1.使用sqoop前需要导入json的包到sqoop的lib目录下
              2.将hive/lib/hive.* 拷贝到sqoop的lib目录下

    vi sqoop-env.sh (cp sqoop-env-template.sh sqoop-env.sh)
                ***export HADOOP_COMMON_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
                ***export HADOOP_MAPRED_HOME=/root/app/hadoop-2.6.0-cdh5.7.0
        export HBASE_HOME=/root/app/hbase-1.2.0-cdh5.7.0       #可以不配，我们很少用hbase导入导出
                ***export HIVE_HOME=/root/app/hive-1.1.0-cdh5.7.0
        export ZOOCFGDIR=/root/app/zookeeper-3.4.5-cdh5.7.0    #可以不配，我们很少用zookeeper导入导出
    之后要在本机的sqoop上传一个MySQL的jar包
    验证是否成功
        sqoop version
        sqoop list-databases --connect jdbc:mysql://master:3306/ --username root -P

相关资料以及架包：

　　https://pan.baidu.com/s/12QRR9bWFvNRaBppUar1MeQ

　　提取码：239b