zoukankan      html  css  js  c++  java
  • SparkSQL 通过jdbc连接数据库/通过hive读写数据

    通过jdbc连接数据库

    spark-shell 带参数启动

    spark-shell \
    --jars /usr/spark/jars/mysql-connector-java-5.1.49-bin.jar \
    --driver-class-path /usr/local/spark/jars/mysql-connector-java-5.1.40-bin.jar
    

    插入和查询数据

    import java.util.Properties
    import org.apache.spark.sql.types._
    import org.apache.spark.sql.Row
     //从Mysql中读取数据
    val jdbcDF = spark.read.format("jdbc").option("url", "jdbc:mysql://localhost:3306/sparktest").option("driver","com.mysql.jdbc.Driver").option("dbtable", "employee").option("user", "root").option("password", "root123").load()
    
    //下面我们设置两条数据表示两个学生信息
    val studentRDD = spark.sparkContext.parallelize(Array("3 Rongcheng M 26","4 Guanhua M 27")).map(_.split(" "))
     
    //下面要设置模式信息
    val schema = StructType(List(StructField("id", IntegerType, true),StructField("name", StringType, true),StructField("gender", StringType, true),StructField("age", IntegerType, true)))
     
    //下面创建Row对象,每个Row对象都是rowRDD中的一行
    val rowRDD = studentRDD.map(p => Row(p(0).toInt, p(1).trim, p(2).trim, p(3).toInt))
     
    //建立起Row对象和模式之间的对应关系,也就是把数据和模式对应起来
    val studentDF = spark.createDataFrame(rowRDD, schema)
     
    //下面创建一个prop变量用来保存JDBC连接参数
    val prop = new Properties()
    prop.put("user", "root") //表示用户名是root
    prop.put("password", "root123") //表示密码是hadoop
    prop.put("driver","com.mysql.jdbc.Driver") //表示驱动程序com.mysql.jdbc.Driver
     
    //下面就可以连接数据库,采用append模式,表示追加记录到数据库spark的student表中
    studentDF.write.mode("append").jdbc("jdbc:mysql://localhost:3306/sparktest", "sparktest.employee", prop)
    

    通过hive读写数据

  • 相关阅读:
    SSM环境搭建
    spring 开发 Tars
    Tars --- Hello World
    Java IO流
    Java集合
    常用类
    Pwn With longjmp
    格式化字符串漏洞利用实战之 njctf-decoder
    一步一步 Pwn RouterOS之ctf题练手
    srop实战
  • 原文地址:https://www.cnblogs.com/sakura-xxg/p/15757628.html
Copyright © 2011-2022 走看看