zoukankan      html  css  js  c++  java
  • spark sql 以JDBC为数据源

    一、环境准备:

    安装mysql后,进入mysql命令行,创建测试表、数据:

     

    将 mysql-connector-java 的jar文件拷贝到 spark_homelib下,你可以使用最新版本,下载地址:

     http://dev.mysql.com/downloads/connector/j/

    二、实现代码

    1、准备工作:

            SparkConf conf = new SparkConf().setAppName("JDBCDataSource");//.setMaster("local");  
            JavaSparkContext sc = new JavaSparkContext(conf);
            SQLContext sqlContext = new SQLContext(sc);

    2、从JDBC数据读取:

            Map<String, String> options = new HashMap<String, String>();

    options.put("url", "jdbc:mysql://spark1:3306/testdb");
            

    //读取第一个表

    options.put("dbtable", "student_infos");

    DataFrame studentInfosDF = sqlContext.read().format("jdbc")
                    .options(options).load();

     

    //读取第二个表

    options.put("dbtable", "student_scores");
    DataFrame studentScoresDF = sqlContext.read().format("jdbc")
    .options(options).load();

    3、 写入数据到JDBC


    studentsDF.javaRDD().foreach(new VoidFunction<Row>() {
        

        privatestaticfinallong serialVersionUID = 1L;
                
                public void call(Row row) throws Exception {
                    // TODO Auto-generated method stub
                    String sql = "insert into good_student_infos values(" 
                            + "'" + String.valueOf(row.getString(0)) + "',"
                            + Integer.valueOf(String.valueOf(row.get(1))) + ","
                            + Integer.valueOf(String.valueOf(row.get(2))) + ")";   
                    
                    Class.forName("com.mysql.jdbc.Driver");         
                    
                    Connection conn = null;
                    Statement stmt = null;
                    try {
                        conn = DriverManager.getConnection("jdbc:mysql://spark1:3306/testdb", "", "");      //可能有重复创建conn的问题,此处不做讨论   
                        stmt = conn.createStatement();
                        stmt.executeUpdate(sql);
                    } catch (Exception e) {
                        e.printStackTrace();
                    } finally {
                        if(stmt != null) {
                            stmt.close();
                        } 
                        if(conn != null) {
                            conn.close();
                        }
                    }
                }
            }); 

    三、bug解决

    写本片文章的目的就是要记录这个错误,按照以上的方式实现,仍然会有报错,错误信息:"No suitable driver found for jdbc:mysql://spark1:3306/testdb",问题在于,仅仅将mysql-connector-java 的jar文件放到/spark_home/lib 目录是不够的,下面是群里技术前辈告诉我的解决方法, 原样贴上:

     

  • 相关阅读:
    SQL多表联合查询(Access数据库表)
    分时间片计算包间费演示程序
    SQL2000下的三表查询
    小学生课外必读书目(推荐)
    Delphi下POS机控制钱箱,客显,打印机
    三个实用的SQL Server数据库字典SQL语句
    delphi中关于资源释放(Free/release/freeAndNil)的一点体会(转)
    Data mining (2)
    求二进制数中1的个数
    延参法师在同济
  • 原文地址:https://www.cnblogs.com/key1309/p/5350179.html
Copyright © 2011-2022 走看看