zoukankan      html  css  js  c++  java
  • 大数据学习之路又之从csv文件到sql文件的操作过程

    根据前几天的测试,简单的做个总结

    csv文件的字段说明:

     1.将csv文件上传到虚拟机中

    在SecureCRT中点击,创建目录,直接把文件从本地拖拽进去

     

    我放在了/linmob/data的路径下,所以文件的位置是/linmob/data/sales_sample_20170310.csv

    2.在hive命令行中建表,表名要与csv文件中的一一对应,人生建议字段类型都选择varchar

    hive

    create table sales_sample_20170310(day_id varchar(30),sale_nbr  varchar(30),buy_nbr varchar(30),cnt  varchar(30),round varchar(30)) row format delimited fields terminated by ',' ;

    3.导入数据 其中的路径 '/linmob/data/sales_sample_20170310.csv'和表名 sales_sample_20170310要修改成自己的

    load data local inpath '/linmob/data/sales_sample_20170310.csv' overwrite into table sales_sample_20170310;

    4.select验证数据是否导入,因为数据量大,一定要limit

    select * from sales_sample_20170310 limit 10;

    5.退出hive命令行,进入mysql,建表

    exit;

    mysql -uroot -proot

    create table sales_sample_20170310(day_id varchar(30), sale_nbr varchar(30),buy_nbr varchar(30),cnt  varchar(30),round varchar(30))charset utf8 collate utf8_general_ci;

    6.退出mqsql,进入sqoop的bin目录下,到出数据到mysql数据库中,其中ip地址192.168.111.100、mysql数据库名tab、mysql用户名和密码root、mysql表名 sales_sample_20170310、hive路径名 /user/hive/warehouse/sales_sample_20170310都要换成自己的

    hive路径名不清楚?到9870可以找到

    ./sqoop export --connect "jdbc:mysql://192.168.111.100:3306/tab?characterEncoding=UTF-8"  --username root --password root --table sales_sample_20170310 --export-dir /user/hive/warehouse/sales_sample_20170310 --input-null-string "\\N" --input-null-non-string "\\N" --input-fields-terminated-by "," --input-lines-terminated-by "\n" -m 1

    7.数据导出

  • 相关阅读:
    Codeforces Round #260 (Div. 2)
    面试题:给定数组a,找到最大的j-i, 使a[j]>a[i]
    ssh自动输入密码脚本 切换目录脚本
    make工作时的执行步骤
    Codeforces Round #259 (Div. 2)
    Codeforces Round #258 (Div. 2)
    如何在半径为1的圆中随机选取一个点
    面试中常问的有关随机选取k个数的总结
    topcoder SRM 628 DIV2 BracketExpressions
    topcoder SRM 628 DIV2 BishopMove
  • 原文地址:https://www.cnblogs.com/linmob/p/15365663.html
Copyright © 2011-2022 走看看