zoukankan      html  css  js  c++  java
  • Hadoop伪分布安装详解(二)

    目录:

         1.修改主机名和用户名

         2.配置静态IP地址

         3.配置SSH无密码连接

         4.安装JDK1.7

         5.配置Hadoop

         6.安装Mysql

         7.安装Hive

         8.安装Hbase

         9.安装Sqoop

    ********************

     1.修改主机名和用户名

    •  修改主机名:Centos中通过vi /etc/sysconfig/network 修改HOSTNAME=

        

    •    为了使Hadoop节点之间能互相访问,需要修改hosts文件,root用户执行并且所有节点均需执行

         vi /etc/hosts

        

    •    centos修改主机名执行useradd hadoop 添加以Hadoop为用户名的用户,执行passwd hadoop修改用户的密码

    2. 配置静态IP地址

       

      [root@neusoft-master ~]# vi /etc/sysconfig/network-scripts/ifcfg-eth0

    DEVICE=eth0

    TYPE=Ethernet
    UUID=02eb9342-c828-49a5-9e23-64e8c2d5e05e
    ONBOOT=yes
    NM_CONTROLLED=yes
    BOOTPROTO=static
    IPADDR=192.168.191.130
    NETMASK=255.255.255.0
    GATEWAY=192.168.191.2
    PREFIX=24
    DNS1=8.8.8.8
    HWADDR=00:50:56:2C:72:E9
    DEFROUTE=yes
    IPV4_FAILURE_FATAL=yes
    IPV6INIT=no
    NAME="System eth0"
    LAST_CONNECT=1482851817

         

       注意:如果多台虚拟机复制会有问题,我罗列了遇到的问题,如果没有图形界面网络配置更简单,如果沒有問題請跳过

       方法1:利用图形界面解决

        (1)图形界面找见图标,编辑

        

        (2)删除所有网络

       

        (3)根据虚拟机配置ip,网管等

       

        解决 Error:No suitable device found: no device found for connection "System eth0"

       注意:VM的虚拟网卡VMnet8一定需要在windows操作系统的网络中开启,同时在虚拟机中配置正确的子网掩码及网关

      存在的问题点1:

           windows上的网络配置

        

      存在的问题点2:

        VM软件配置

       

       

         方法2:问题复述:

        复制好的虚拟机,启动登陆进去(用户名和密码跟之前那台是一样的),修改好IPADDR,然后网卡重启出现问题?
        #service network restart
         出现问题:Error:No suitable device found: no device found for connection "System eth0" 如图所示:

        

        #ifup eth0
        出现: eth0: unknown interface: No such device 这样的问题,网卡都启动不了,出现问题.

       解决:

       (1)我们在界面点击Network Adapter Remove删除网卡,如图所示:

        

      (2)添加一个新的网卡,就是点击add,这时跟前面一台的MAC Address 就不一样,如图所示:

       

      (3)复制地址

      

      (4)重新启动虚拟机,然后进入到/etc/udev/rules.d/目录

      #cat 70-persistent-net.rules
      里面的信息跟我们Network Adapter的MAC Address地址一样,如图所示:

         

       (5) 进入/etc/sysconfig/network-scripts/目录

        #vi ifcfg-eth0
        把HWADDR修改成Network Adapter的MAC Address地址一样,如图所示:

        

       (6)重启网卡,这时就能正常启动,如图所示:

        

     3.配置SSH无密码连接

         (0)在Centos中首先关闭防火墙

     service iptables stop(临时关闭防火墙)   
    

          永久关闭防火墙:

    chkconfig iptables off
    

      <补充的防火墙内容:>

      • CentOS 6:
      1. 重启后不会复原,永久性生效。

    开启: chkconfig iptables on

    关闭: chkconfig iptables off

          2.即时生效,重启后复原

    开启: service iptables start

    关闭: service iptables stop

      • CentOS 7:

    systemctl start firewalld.service#启动firewall
    systemctl stop firewalld.service#停止firewall
    systemctl disable firewalld.service#禁止firewall开机启动

      • 查询TCP连接情况:

     netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

      • 查询端口占用情况:

     netstat   -anp   |   grep  portno(例如:netstat –apn | grep 80)

         (1) 检查ssh是否安装      

    yum install  ssh
    yum install  rsync   #远程同步数据的工具
    

      (2)启动SSH服务命令    

    service  sshd   restart

           检查SSH是否已经安装成功     

    rpm  -qa  | grep  openssh       rpm  -qa  | grep  rsync 

          显示相应信息即可。

           (3)生成SSH公钥

          对于伪分布式环境只需要本机链接本机即可:

          主节点执行:ssh-keygen -t rsa 一路回车即可,最后显示的图形是公钥的指纹加密。

                  生成公钥后需要将公钥发到本机的authorized_keys的列表,执行:

                  ssh-copy-id  -i  ~/.ssh/id_rsa.pub root@neusoft-master  或ssh-copy-id  -i  ~/.ssh/id_rsa.pub neusoft-master(主机名)

                  也可以使用cat命令复制公钥到authorized_keys中,cat ~/.ssh/id_rsa.pub  >> ~/.ssh/authorized_keys

                  如果是多机器需要需要通过scp命令赋值到主节点中,在分发至子节点。

            (4)检查是否可以无密码ping通:使用”ssh 主机名”的方式验证

                  这里使用的是 ssh neusoft-master 无密码输入的提示,则安装成功。

                  如果执行上述步骤仍然不成功,有可能是~/.ssh 文件夹权限问题。执行如下程序

                   chmod   700   ~/.ssh           #ssh文件夹一定是700权限

                   chmod   600   ~/.ssh/authorized_keys   #authorized_keys文件夹一定是600权限

     4.安装JDK

           (1)通过java主页下载jdk1.7.x版本,使用SecureCRT上传到Centos中

        

            (2)卸载原来的openjdk

          rpm -qa  |grep  jdk  如果出现openjdk就需要卸载

          使用yum -y   remove  xxx,其中xxx为刚才rpm -qa  |grep  jdk的结果

           (3)方法1利用tar包安装JDK

    •  解压tar文件

           tar -zxvf  jdk-7u80-linux-x64.tar.gz

    •  配置环境变量  vi /etc/profile
    export JAVA_HOME=/opt/jdk1.7.0_80  或/usr/java/default   #根據书记情况改写
    
    export PATH=$PATH:$JAVA_HOME/bin
    • 立马生效
      source  /etc/profile
    •  验证安装 ,如下java -version

            

      (4)方法2利用rpm包安装JDK

    • 如果是rpm文件只需要执行以下命令:

           rpm  -ivh  oracle-j2sdk1.7-1.7.0+update67-1.x86_64.rpm (使用该文件方便)

           cd   /usr/java/

           ls

           ln -s jdk1.7.0-cloudera lastest   

           ln -s /usr/java/lastest    default

           ls -l   #环境变量配置参考如下

          配置环境变量  vi /etc/profile 修改如下:     

    export JAVA_HOME=/opt/jdk1.7.0_80  或/usr/java/default   #根據书记情况改写
    
    export PATH=$PATH:$JAVA_HOME/bin

         如下图所示:

             

    • 立马生效
          source  /etc/profile
    •  验证安装 ,如下java -version

            

    END~  如果遇到安裝的問題請直接提問~

  • 相关阅读:
    页面跳转方式
    银行账号每4位插入一个空格
    .net 对称加密
    .net 非对称加密
    webpack-dev-server的cli使用
    你不能不知道的 6 个 Web 开发者工具
    String字符串提取指定内容
    SQLServer 复制表结构
    关于OMAPL138烧写程序的说明
    C程序结构
  • 原文地址:https://www.cnblogs.com/jackchen-Net/p/6445318.html
Copyright © 2011-2022 走看看