zoukankan      html  css  js  c++  java
  • bayaim_hadoop2_hdfs_20181107

    ------------------bayaim_bayaim_hadoop2_hdfs_20181107---------------------------------

    HDFS 原理:上传数据要分块(128M)分块存储
    分布式文件系统
    ---------先启动HDFS----------------
    1. sbin/start-dfs.sh
    一直输入:yes
    电脑密码: root/dba_2018
    -----------再启动YARN-----------
    2. sbin/start-yarn.sh
    3 验证是否启动成功
    # jps ------------------------------
    使用jps命令验证
    27408 NameNode ----hdfs 的老大
    28218 Jps ----java 相关的命令
    27643 SecondaryNameNode ----hdfs 的助理,帮助数据同步
    28066 NodeManager ----YARN 的小弟
    27803 ResourceManager ----YARN 的老大,资源的分配 调度
    27512 DataNode ----hdfs 的小弟
    [root@testoracle sbin]# ./stop-all.sh ---------------------------------

    This script is Deprecated. Instead use stop-dfs.sh and stop-yarn.sh
    Stopping namenodes on [testoracle]
    testoracle: stopping namenode
    localhost: stopping datanode
    Stopping secondary namenodes [0.0.0.0]
    0.0.0.0: stopping secondarynamenode
    stopping yarn daemons
    stopping resourcemanager
    localhost: stopping nodemanager
    no proxyserver to stop

    [root@testoracle sbin]# ./start-dfs.sh ---------------------------------
    [root@testoracle sbin]# hadoop fs -ls hdfs://testoracle:9000/
    [root@testoracle sbin]# hadoop fs -copyFromLocal /home/oracle/import.log /import.log (管道,进行分页)
    [root@testoracle ~]# hadoop fs -ls -R /
    [root@testoracle ~]# hdfs dfs -ls -R /
    [root@testoracle hadoop-2.2.0]# hadoop fs -chgrp root /import.log
    [root@testoracle hadoop-2.2.0]# hadoop fs -ls /

    http://192.168.210.82:50070 (HDFS管理界面)
    http://192.168.210.82:8088 (MR管理界面YARN)

    1.元数据 : 文件存了几个副本 、 有几块、 在哪台机器上(账本,数据的描述信息,namenode metadata)
    2.数据:datanodes 怎么知道文件损坏:校验核 、 MD5值 算法(每个文件是唯一的)大数据采用C32 校验机制

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

     

  • 相关阅读:
    MongoDB 数据类型
    linux 查看网卡流量:nload
    Linux 抓包工具:tcpdump
    python 合并列表 从大到小排序
    MongoDB的客户端管理工具--nosqlbooster 连接MongoDB服务器
    MongoDB 用户管理
    MongoDB 数据库操作
    MongoDB与关系型数据库 区别
    MongoDB 新建数据库和集合 查询集合
    POJ 1491
  • 原文地址:https://www.cnblogs.com/bayaim/p/9981501.html
Copyright © 2011-2022 走看看