zoukankan      html  css  js  c++  java
  • hadoop学习笔记以及遇到的坑整理(长期更新)

    1.要看官方文档

    http://hadoop.apache.org/docs/current/

    2.start-dfs.sh时提示rcmd: socket: Permission denied

    解决方法:
    在/etc/pdsh下面新建文件rcmd_default,写入ssh,然后回车,记得一定要输入一个回车符另起一行,不然会提示ssh exit with code 1

    3.org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: server3/192.168.2.107:8020

    各个节点的配置文件保存一致,这里因为fs.defaultFS设置错误导致,datanode找不到namenode

    4.hadoop执行jar

    idea生成可执行jar包:https://www.cnblogs.com/blog5277/p/5920560.html

    hadoop执行命令:bin/hadoop jar xxx.jar arg1 arg2   (single node)

    5.hadoop java api文档

    http://hadoop.apache.org/docs/r3.1.0/api/index.html

    6.org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-kevin/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.

    很明显/tmp下是定期清理的 所以我们要把dfs/name设置到其他位置

    core-site.yml

    <property>
      <name>hadoop.tmp.dir</name>
      <value>/data/hadoop/hadoop-${user.name}</value>
      <description>A base for other temporary directories.</description>
    </property>

  • 相关阅读:
    ngRoute AngularJs自带的路由
    AngularJs $resource 高大上的数据交互
    AngularJs filter 过滤器
    eBPF监控工具bcc系列一启航
    [转载] kprobe原理解析(一)
    c++通过CMake实现debug开关
    如何使用fio模拟线上环境
    汇编学习pushl, popl
    block:cfq 学习02
    阻抗匹配详细讲解(以前的转贴)
  • 原文地址:https://www.cnblogs.com/kevin19931015/p/8683727.html
Copyright © 2011-2022 走看看