zoukankan      html  css  js  c++  java
  • hadoop操作

    1.将文件从本地放到hdfs上

    scp /Documents/nearwest.csv cjj@ 10.10.10.140:Documents   //将文件放到集群centos系统上,scp(secure copy),linux下远程复制文件命令
    
    //hadoop是分布式计算框架,有对hdfs的操作接口,所以通过hadoop命令来操作hdfs
    hadoop fs -put Documents/nearwest.csv /user/cjj 
    //将文件放到对应的hdfs文件系统上,/user/cjj是centos用户对应的文件,两者权限应该是对应的,至于hdfs上其他用户的文件夹,我们可以对其写入,但是可能不能更改(不太了解),说到底还是权限问题
    hadoop fs -put
    hadoop fs -mkdir
    

    2.hive中创建table

    //hive中创建table
    create table if not exists nearwestlake_2
    (
      vehicle_id varchar(30),
      longi varchar(30),
      lati varchar(30),
      state varchar(30),
      speed_time string
             ) 
      row format delimited fields terminated by ','
    //hive默认的table分隔符是tab,通过最后一句自定义
    

    3.将hdfs表导入hive

    //加载数据
    load data inpath "hdfs上文件路径" into table 表名
    也可以从本地系统文件导入
    load data local inpath "  文件" into table 表名
    
  • 相关阅读:
    随笔(二十三)
    随笔(二十二)
    随笔(二十一)
    Python3——2019年全国大学生计算二级考试
    IP组播-PIM协议
    PIM-DM实验
    组播基础原理——IGMP
    路由器反射与联盟
    路由过滤&路由引入实验练习
    有道云免会员更换背景图
  • 原文地址:https://www.cnblogs.com/caojunjie/p/8082564.html
Copyright © 2011-2022 走看看