zoukankan      html  css  js  c++  java
  • HDFS 基本操作

    启动 TDH Client

    // 进入 TDH-Client 目录下

    1. cd /transwarp/Desktop/TDH-Client
      // 执行 TDH Client 的 init.sh 脚本,此操作只对当前 Session 有效
    2. source ./init.sh

    查看目录

    //在 HDFS 上查看实验目录/training 下文件及目录结构。
    hadoop fs -ls /training

    创建目录

    //在 HDFS 上创建目录“/training/{student_name}/hdfs_data”。
    // 创建 HDFS 目录
    hadoop fs -mkdir -p /training/hanwenhao/hdfs_data

    修改目录权限

    //将 HDFS 目录“/training/{student_name}/hdfs_data”的权限改为“rwxrwxrwx”。
    hadoop fs -chmod -R 777 /training/hanwenhao/hdfs_data

    上传文件

    //在本地准备测试文件 file01,并上传到 HDFS 目录“/training/{student_name}/hdfs_data”中。
    // 创建测试文件 file01,并将测试内容写入文件

    1. echo "Hello Hadoop File System" > file01
      // 上传测试文件 file01 至 HDFS
    2. hadoop fs -put file01 /training/hanwenhao/hdfs_data

    查看目录内容

    //查看 HDFS 目录“/ training/{student_name}/hdfs_data”的内容,检查测试文件 file01 是否上传成功。
    hadoop fs -ls / training/hanwenhao/hdfs_data

    查看文件内容

    //查看 HDFS 文件“/ training/{student_name}/hdfs_data/file01”的内容。
    hadoop fs -cat / training/hanwenhao/hdfs_data/file01

    通过 Web 查看目录和文件数据块

    //通过 Transwarp Manager 浏览 HDFS 目录,并找到文件“/training/{student_name}/hdfs_data /file01”的 Block
    信息。

    1. 登录 Transwarp Manager
    2. 进入 HDFS 服务,点击左侧“角色”按钮
    3. 点击 Namenode 后面的“Link”,确保进入的是 Active Namenode
    4. 点击菜单项“Utilities/Browse the file system”,浏览 HDFS 目录
    5. 找到文件“/ training/hanwenhao/hdfs_data/file01”
    6. 查看文件的 Block 信息



  • 相关阅读:
    EasyUI项目驱动学习
    给你一个能生成1到5随机数的函数,用它写一个函数生成1到7的随机数。 (即,使用函数rand5()来实现函数rand7())
    python手记(42)
    Succession
    第一节,学习cocos2d-x的前期准备
    DOM与JavaScript、jQuery之间的关系
    HTML5 精灵8方向移动+背景滚动+音效播放+鼠标事件响应
    Oracle多行记录合并自定义函数
    MSP430F5438 I2C学习笔记——AT24C02
    OPENCV 常用函数
  • 原文地址:https://www.cnblogs.com/albieh/p/12369302.html
Copyright © 2011-2022 走看看