zoukankan      html  css  js  c++  java
  • hadoop伪分布式集群搭建遇到的问题

    今天搭建伪分布式集群,遇到了一些问题:

    1、在启动namenode以后,jps提示command not found。

        解决: 将系统自带openJDK卸载,然后重新安装自己的jdk。 虽然hadoop的配置文件中用得是自己的,但是在命令行中是找得系统自带的jdk。(查阅资料:openJDK中/bin目录下没有jps这个命令)

    export JAVA_HOME=/usr/share/jdk1.6.0_14 
    export PATH=$JAVA_HOME/bin:$PATH 
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 

    2、主机名与hadoop的配置信息不一致。(但是可以访问。)

         期初修改的是/etc/hosts文件,但是添加  172.16.1.1  linux1 映射。但是重启后,主机名没变。

        上网查阅资料: 修改/etc/sysconfig/network中 HOSTNAME=linux1 然后重启,生效。

         /etc/hosts 与/etc/sysconfig/network中配置主机名称有和区别?

      /etc/hosts:是设置ip 与域名的映射关系,和主机名没有任何关系。

          /etc/sysconfig/nstwork:是设置主机名称的。

          /etc/hostname 这个文件不存在。

    注:网上一些文章说修改/etc.hostname但是我发现我的目录下没有此文件,这和linux发行版有关系。

    值的指出的是,在其它Linux发行版中,并非都存在/etc/hostname文件。如Fedora发行版将主机名存放在/etc/sysconfig/network文件中。所以,修改主机名时应注意区分是哪种Linux发行版。

    http://blog.csdn.net/wowfly98/article/details/51860919

    http://blog.csdn.net/trochiluses/article/details/11483591 这个讲的很清楚。

    3、在搭建hadoop伪集群时,有配置文件配置了很多端口。但是在网页上访问hdfs时是70050,访问yarn是8088

    上网查了一些关于hadoop 端口的设置信息:

    http://blog.csdn.net/wulantian/article/details/46341043 

    配置文件中配置的端口信息中:

    有的是Web UI所使用的,有的是内部通信所使用的,有的是监控所使用的。各有不同。


     很多人一提到更改hostname首先就想到修改/etc/hosts文件,认为hostname的配置文件就是/etc/hosts。其实不是的。hosts文件的作用相当于DNS,提供IP地址hostname的对应。早期的互联网计算机少,单机hosts文件里足够存放所有联网计算机。不过随着互联网的发展,这就远远不够了。于是就出现了分布式的DNS系统。由DNS服务器来提供类似的IP地址到域名的对应。Linux系统在向DNS服务器发出域名解析请求之前会查询/etc/hosts文件,如果里面有相应的记录,就会使用hosts里面的记录。由此,/etc/hosts于设置hostname是没直接关系的,仅仅当你要在本机上用新的hostname来映射自己的IP时候才会用到/etc/hosts文件。两者没有必然的联系。redhat的hostname的配置文件是/etc/sysconfig/network.

     

        /etc/hosts内容摘录如下:

              # Do not remove the following line, or various programs
              # that require network functionality will fail.
              192.168.1.102   localhost.localdomain  localhost
              127.0.0.1       localhost.localdomain  localhost
              ::1             localhost6.localdomain6 localhost6

        对以上内容的解释

        作用:hosts 文件是用来把主机名字映射到IP地址的方法,这种方法比较简单。但这种映射只是本地映射,也就是说每台机器都是独立的,所有的计算机都不能相互通过hostname来访问。

        格式:
           一般情况下hosts的内容关于主机名(hostname)的定义,每行为一个主机,每行由三部份组成,每个部份由空格隔开。其中#号开头的行做说明,不被系统解释。
         
           第一部份:网络IP地址;
         
           第二部份:主机名.域名,注意主机名和域名之间有个半角的点,比如 localhost.localdomain
         
           第二部份:主机名(主机名别名) ,其实就是主机名;
        注释:
           1)127.0.0.1 是回环地址,比如我们不想让局域网的其它机器看到我们测试的网络程序,就可以用回环地址来测试。
           2)为什么需要定义域名呢?其实理解也简单,比如我们有三台主机,每台做不同的事,一台做MAIL服务器,一台做FTP服务器,一台做SMB服务器,所以我们就可以这样来设计hostname;
         
           127.0.0.1 localhost.localdomain localhost
         
           192.168.1.2 ftp
         
           192.168.1.3 mail.localdomain mail
         
           192.168.1.4 smb.localdomin smb

        把这上面这个配置文件的内容分别写入每台机器的/etc/hosts内容中,这样这三台局域网的机器就可以通过hostname来访问了。也就是,在局域网中,主机名也是可以解析到IP上的,相当于DNS域名解析。

        对于主机名的修改有两种方式:hostname和/etc/sysconfig/network

       

    1. [root@think ~]# hostname   
    2. thin  
    3. [root@think ~]# hostname think  
    4. [root@think ~]# hostname  
    5. think  

        通过hostname 这个kernel变量来设置主机名只是临时的,下次重启系统时,此主机名将不会存在.hostname也可用于显示:hostname -i。如果要永久修改RedHat hostname,就修改/etc/sysconfig/network文件,将里面的HOSTNAME这一行修改成HOSTNAME=NEWNAME,其中NEWNAME就是你要设置的hostname。


    2./hosts文件可以帮助解决哪些问题

    2.1 远程登录linux主机过慢问题

    有时客户端想远程登录一台linux主机,但每次登录输入密码后都会等很长一段时间才会进入,这是因为linux主机在返回信息时需要解析ip,如果在linux主机的hosts文件事先加入客户端的ip地址,这时再从客户端远程登录linux就会变很快。

    注:这里所说的远程登录不仅仅是ssh,还可能是mysql远程登录,或是文件共享的查询等。

    2.2 双机互连

    当两台主机只是双机互连时,这时两台主机都需要设置自己的ip,同时在对方的hosts文件里加入自己的ip和主机名。

    注:不同发行版的主机名称对应文件可以通过man host那么进行查阅


    3.关于FQDN

    FQDN:(Fully Qualified Domain Name)完全合格域名/全称域名,是指主机名加上全路径,全路径中列出了序列中所有域成员。全域名可以从逻辑上准确地表示出主机在什么地方,也可以说全域名是主机名的一种完全表示形式。从全域名中包含的信息可以看出主机在域名树中的位置。DNS解析流程:首先查找本机HOSTS表,有的直接使用表中定义,没有查找网络连接中设置的DNS 服务器由他来解析。




  • 相关阅读:
    Plugs介绍(翻译) .net/C#开源操作系统学习系列六
    Cosmos的里程碑2(Mile Stone 2)之浅尝PCI总线、设备编程.net/C#开源操作系统学习系列九
    [翻译] WindowsPhoneGameBoy模拟器开发二Rom文件分析
    Cosmos开篇、本系列目录.net/C#开源操作系统学习系列一
    Cosmos的汇编级调试器(翻译) .net/C#开源操作系统学习系列七
    数据库牛人榜(随时更新)
    redis大key删除
    Linux LVM硬盘管理及LVM扩容
    Linux学习之CentOS(十一)CentOS6.4下Samba服务器的安装与配置
    Linux学习之CentOS(三十)SELinux安全系统基础
  • 原文地址:https://www.cnblogs.com/yeemi/p/7470146.html
Copyright © 2011-2022 走看看