zoukankan      html  css  js  c++  java
  • 操作hadoop的经验积累

    操作hadoop的经验积累

    Hadoop namenode –format

    在执行格式化-format命令时,要避免namenode的namdespaceid与datanode的namespaceid的不一致。这是因为每格式化一次就会产生name,data,temp等临时文件记录信息,多次格式化会产生很多的name,data,temo,这样容易导致id的不同,使hadoop不能正常运行。每次执行格式化—format命令时,就需要将datanode和namenode上原来的data,temp文件删除。

    查看群集状态,

    $ ./hadoop dfsadmin-report

    ConfiguredCapacity: 53895745536 (50.19 GB)

    Present Capacity:8199200768 (7.64 GB)

    DFS Remaining:8199159808 (7.64 GB)

    DFS Used: 40960 (40KB)

    DFS Used%: 0%

    Under replicatedblocks: 0

    Blocks with corruptreplicas: 0

    Missing blocks: 0

    -------------------------------------------------

    Datanodesavailable: 1 (1 total, 0 dead)

    Name:127.0.0.1:50010

    Decommission Status: Normal

    ConfiguredCapacity: 53895745536 (50.19 GB)

    DFS Used: 40960 (40KB)

    Non DFS Used:45696544768 (42.56 GB)

    DFS Remaining:8199159808(7.64 GB)

    DFS Used%: 0%

    DFS Remaining%:15.21%

    Last contact: MonAug 19 06:36:47 EDT 2013

    在安装hadoop集群时,把要安装的软件解压到集群内的所有机器上,软件的安装目录也要一致。集群里所有机器中的hadoop_home目录代表安装的根路径,集群中的机器要求hadoop_home路径一致。如果集群中的机器环境一致,可以采用这种方法统一安装和配置集群的机器,先在一台机器上配置好,然后把配置好的软件的整个文件夹复制到集群中其他机器的目录中,这样就可以保障集群中的机器配置一致性。

  • 相关阅读:
    对软件工程课程的期望
    自我介绍
    新目标
    课后作业-阅读任务-阅读笔记-4
    20150914-构建之法:现代软件工程-阅读笔记
    团队编程项目作业2-团队编程项目开发环境搭建过程
    团队编程项目作业2-团队编程项目设计文档
    个人-GIT使用方法
    结对编程项目作业2-结对编项目设计文档
    结对编程项目作业2-开发环境搭建过程
  • 原文地址:https://www.cnblogs.com/pangblog/p/3270946.html
Copyright © 2011-2022 走看看