zoukankan      html  css  js  c++  java
  • 强-大数据第六讲

    HDFS的基本操作

    第一节:HDFS的相关命令
    -mkdir 在HDFS创建目录 hdfs dfs -mkdir /data
    -ls 查看当前目录 hdfs dfs -ls /
    -ls -R 查看目录与子目录
    -put 上传一个文件 hdfs dfs -put data.txt /data/input
    -moveFromLocal 上传一个文件,会删除本地文件:ctrl + X
    -copyFromLocal 上传一个文件,与put一样
    -copyToLocal 下载文件 hdfs dfs -copyToLocal /data/input/data.txt
    -get 下载文件 hdfs dfs -get /data/input/data.txt
    -rm 删除文件 hdfs dfs -rm /data/input/data.txt
    -getmerge 将目录所有的文件先合并,再下载
    -cp 拷贝: hdfs dfs -cp /data/input/data.txt /data/input/data01.txt
    -mv 移动: hdfs dfs -mv /data/input/data.txt /data/input/data02.txt
    -count 统计目录下的文件个数
    -text、-cat 查看文件的内容 hdfs dfs -cat /data/input/data.txt
    -balancer 平衡操作

    第二节:HDFS的Java API
    (*)在HDFS上创建一个目录:
    依赖的jar包:
    /root/training/hadoop-2.4.1/share/hadoop/common/lib
    /root/training/hadoop-2.4.1/share/hadoop/common/

    /root/training/hadoop-2.4.1/share/hadoop/hdfs/lib
    /root/training/hadoop-2.4.1/share/hadoop/hdfs/

    源代码示例:

    import java.io.IOException;

    import org.apache.hadoop.conf.Configuration;
    import org.apache.hadoop.fs.FileSystem;
    import org.apache.hadoop.fs.Path;

    public class TestMain {

    public static void main(String[] args) throws Exception {
    // 使用HDFS的API创建目录
    //设置NameNode地址
    Configuration conf = new Configuration();
    conf.set("fs.defaultFS", "hdfs://192.168.88.11:9000");

    //得到HDFS的文件系统
    FileSystem fs = FileSystem.get(conf);
    fs.mkdirs(new Path("/folder1"));
    }

    }

  • 相关阅读:
    Miniconda 虚拟环境安装及应用
    python random使用方法
    MyQR库自动为网址生成二维码
    setResult()的调用时机
    Eclipse里选中一个变量后,这个类里的该变量不变色了?
    Android开发的技术层次
    最封闭的开源系统,话说Android的八宗罪
    制度是绝情的,管理是无情的,执行是合情的
    windows下eclipse搭建android_ndk开发环境
    UI/GUI/UE/UX/ID/UED/UCD的区别
  • 原文地址:https://www.cnblogs.com/Zac1010/p/11175084.html
Copyright © 2011-2022 走看看