zoukankan      html  css  js  c++  java
  • 《Hadoop学习之路》学习实践

    (实践机器:blog-bench)

    本文用作博文《Hadoop学习之路》实践过程中遇到的问题记录。

    本文所学习的博文为博主“扎心了,老铁” 博文记录。参考链接https://www.cnblogs.com/qingyunzong/category/1169344.html

    问题一:

    《Hadoop学习之路(四)Hadoop集群搭建和简单应用》执行start-dfs.sh时,报错3个:

    1. 报错现象:

    原因:hadoop默认ssh采用的是22端口号,但是我们公司内部机器为了安全已修改端口号,故此处只要配置hadoop在ssh时的端口号即可。

    解决办法:修改xxx/hadoop-2.7.7/etc/hadoop文件夹下的hadoop-env.sh文件,在文件底部增加端口号配置  export HADOOP_SSH_OPTS="-p xxxx" ,xxxx为端口号。

    2. 报错现象:Permission denied (publickey).

    原因:这个地方是我不熟悉ssh的机制及公司机器的配置造成的。由于我重新生成了密钥对,但是未将公钥放入到authorized_keys中。此处解决办法就是将id_rsa.pub中的公钥复制到authorized_keys中即可。

    3. 报错现象:WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

    原因查看:这个报错可能有很多原因,最好的解决办法是在shell中临时修改环境变量开启hadoop的debug日志:export HADOOP_ROOT_LOGGER=DEBUG,console。然后使用命令 hadoop checknative查看环境是否正常。我这边使用该命令主要报一下几个问题:

    a. 库路径错误,该问题通过在环境变量或者hadoop-env.sh中配置环境变量可解决

    配置如下:

    b. glibc版本需要2.14以上。由于wheezy的默认glibc版本最高是2.13,这个只有升级操作系统解决。使用以下命令可将系统升级

    1.把源修改成Debian8的。
    
    sed -i /deb/s/wheezy/jessie/g /etc/apt/sources.list
    sed -i /deb/s/wheezy/jessie/g /etc/apt/sources.list.d/*.list
    2.升级
    
    apt-get update
    apt-get upgrade
    apt-get dist-upgrade
    

    c. 报库找不到,如下图

    对于openssl的类库找不到,很可能是ssl没安装,我的安装更新后自然解决

    sudo apt-get update
    sudo apt-get install libssl1.0.0 libssl-dev
    

     对于snappy,是因为我一开始未安装snappy这个工具,可参考博主博文《Hadoop学习之路(三)Hadoop-2.7.5在CentOS-6.7上的编译》中的安装,默认会安装到/usr/local/lib/下,注意版本!!

    当前snappy1.1.1的可下载版本地址为 http://pkgs.fedoraproject.org/repo/pkgs/snappy/snappy-1.1.1.tar.gz/8887e3b7253b22a31f5486bca3cbc1c2/snappy-1.1.1.tar.gz

    安装后若还是报错,则将安装目录export到hadoop-env.sh中,如下图所示

     问题二:执行start-yarn.sh后,无法访问yarn的管理界面

    解决方法:在yarn-site.xml中增加配置信息:

    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>10.164.96.220</value>
    </property>
    

      

  • 相关阅读:
    自己写个pager控件
    再忙也不能忽视的东西
    ACE_Reactor学习2 Reactor类API的功能分类
    ACE_Reactor学习3 ACE_Reactor初始化相关的实现分析
    ACE_Reactor学习1 总体计划
    windows下信号机制的学习
    咋了
    C#编写Window服务
    Javascript引用类型小结,及字符串处理
    .NET调用控制台下生成的exe文件,传参及获取返回参数
  • 原文地址:https://www.cnblogs.com/suntingme/p/10333065.html
Copyright © 2011-2022 走看看