zoukankan      html  css  js  c++  java
  • 合并 hdfs 文件

    

    待研究,只做保存



    将HDFS中不同目录下面的数据合在一起,并存放在指定的目录中,示例如:

    sqoop merge –new-data /test/p1/person –onto /test/p2/person –target-dir /test/merged –jar-file /opt/data/sqoop/person/Person.jar –class-name Person –merge-key id


    其中,–class-name 所指定的 class 名是对应于 Person.jar 中的 Person 类,而 Person.jar 是通过 Codegen 生成的



    --new-data <path> Hdfs中存放数据的一个目录,该目录中的数据是希望在合并后能优先保留的,原则上一般是存放越新数据的目录就对应这个参数。
    --onto <path> Hdfs中存放数据的一个目录,该目录中的数据是希望在合并后能被更新数据替换掉的,原则上一般是存放越旧数据的目录就对应这个参数。
    --merge-key <col> 合并键,一般是主键ID
    --jar-file <file> 合并时引入的jar包,该jar包是通过Codegen工具生成的jar包
    --class-name <class> 对应的表名或对象名,该class类是包含在jar包中的。
    --target-dir <path> 合并后的数据在HDFS里的存放目录


  • 相关阅读:
    iOS_UIImage的方向(imageOrientation)
    iOS-LaunchImage启动页
    iOS_UIImage_毛玻璃效果
    iOS_常用C语言函数
    iOS_UIImage_Gif的合成
    iOS_UIImage_Gif的分解
    iOS_UIImge_Gif的展示
    iOS_UIImage_jpg<-->png转换
    Mysql学习第三天
    Mysql学习第二天
  • 原文地址:https://www.cnblogs.com/ggzone/p/10121174.html
Copyright © 2011-2022 走看看