zoukankan      html  css  js  c++  java
  • 技巧-如何通过hive开发平台上传csv文件

    通过数据交换平台上传较大的文件时,经常会出现导入失败情况,换种方式通过新数据开发平台(stark)也可以轻松实现外部数据与hive的数据关联。 

    • 第一步、导入csv文件到hive
      • stark数据开发平台——>资源管理——>搜索栏右边+号——>上传资源(资源类型:选择普通文件) 

    • 第二步、建表并让这张表关联上上传的csv文件 
    drop table temp.tmp_site_oppo_did_test$tmptable;
    
    CREATE EXTERNAL TABLE temp.tmp_site_oppo_did_test$tmptable (   
    
      did string   
    
      ,new_date string
    
    ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ','      --表示以,为分隔符
    
    stored as textfile;
    
    load data inpath 'hdfs://mgjcluster/stark/resource_83/latest/latest.csv' --上传的csv文件存储到hive的路径(可以通过搜索上传文件名基本信息中获取)
    
    overwrite into table temp.tmp_site_oppo_did_test$tmptable;  --覆盖到创建的临时表
    聪明 皮实 乐观 自省
  • 相关阅读:
    2019.03.20 mvt,Django分页
    2019.03.18 连接my sql
    第三方包
    飞机大战完结篇
    Python复习基础篇
    final、权限、内部类
    接口、多态
    继承、super、this、抽象类
    String类、static、Arrays类、Math类
    Scanner类、Random类、ArrayList类
  • 原文地址:https://www.cnblogs.com/zwt20120701/p/9020712.html
Copyright © 2011-2022 走看看