zoukankan      html  css  js  c++  java
  • 操作hadoop的经验积累

    操作hadoop的经验积累

    Hadoop namenode –format

    在执行格式化-format命令时,要避免namenode的namdespaceid与datanode的namespaceid的不一致。这是因为每格式化一次就会产生name,data,temp等临时文件记录信息,多次格式化会产生很多的name,data,temo,这样容易导致id的不同,使hadoop不能正常运行。每次执行格式化—format命令时,就需要将datanode和namenode上原来的data,temp文件删除。

    查看群集状态,

    $ ./hadoop dfsadmin-report

    ConfiguredCapacity: 53895745536 (50.19 GB)

    Present Capacity:8199200768 (7.64 GB)

    DFS Remaining:8199159808 (7.64 GB)

    DFS Used: 40960 (40KB)

    DFS Used%: 0%

    Under replicatedblocks: 0

    Blocks with corruptreplicas: 0

    Missing blocks: 0

    -------------------------------------------------

    Datanodesavailable: 1 (1 total, 0 dead)

    Name:127.0.0.1:50010

    Decommission Status: Normal

    ConfiguredCapacity: 53895745536 (50.19 GB)

    DFS Used: 40960 (40KB)

    Non DFS Used:45696544768 (42.56 GB)

    DFS Remaining:8199159808(7.64 GB)

    DFS Used%: 0%

    DFS Remaining%:15.21%

    Last contact: MonAug 19 06:36:47 EDT 2013

    在安装hadoop集群时,把要安装的软件解压到集群内的所有机器上,软件的安装目录也要一致。集群里所有机器中的hadoop_home目录代表安装的根路径,集群中的机器要求hadoop_home路径一致。如果集群中的机器环境一致,可以采用这种方法统一安装和配置集群的机器,先在一台机器上配置好,然后把配置好的软件的整个文件夹复制到集群中其他机器的目录中,这样就可以保障集群中的机器配置一致性。

  • 相关阅读:
    在SQLite中使用索引优化查询速度
    SQLite支持的SQL数据操作
    left (outer) join , right (outer) join, full (outer) join, (inner) join, cross join 区别
    深入理解Android内存管理原理(六)
    Merge Sorted Array
    Sort Colors
    Construct Binary Tree from Preorder and Inorder Traversal
    Binary Tree Postorder Traversal
    Symmetric Tree
    Rotate Image
  • 原文地址:https://www.cnblogs.com/pangblog/p/3270946.html
Copyright © 2011-2022 走看看