zoukankan      html  css  js  c++  java
  • 6.3 使用Spark SQL读写数据库

    Spark SQL可以支持Parquet、JSON、Hive等数据源,并且可以通过JDBC连接外部数据源

    一、通过JDBC连接数据库

    1.准备工作

    ubuntu安装mysql教程

    在Linux中启动MySQL数据库:

     

     输入下面SQL语句完成数据库和表的创建:

    2.读取mysql数据库中的数据

    1. 下载MySQL的JDBC驱动程序,比如mysql-connector-java-5.1.40.tar.gz
    2. 把该驱动程序拷贝到spark的安装目录” /usr/local/spark/jars”下
    3. 启动一个spark-shell,启动Spark Shell时,必须指定mysql连接驱动jar包

    执行以下命令连接数据库,读取数据,并显示:

     load()读取数据,封装到DataFrame内存中。

    3.向mysql数据库写入数据 

      在MySQL数据库中创建了一个名称为spark的数据库,并创建了一个名称为student的表创建后,查看一下数据库内容:

      现在开始在spark-shell中编写程序,往spark.student表中插入两条记录

     

    二、连接Hive读写数据

    1.准备工作

    数据仓库(Data Warehouse)是一个面向主题的(Subject Oriented)、集成的(Integrated)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数据集合,用于支持管理决策。

     图 数据仓库的体系结构

    2.向Hive中创建数据库和表

    3.连接Hive读写数据

  • 相关阅读:
    快捷键打开远程桌面
    织梦Dedecms后台登陆密码忘记怎么办?
    Windows curl开启注意事项
    Composer教程
    composer.json和composer.lock有什么区别?
    Web.config 文件例子
    win10回收站右键有2个“CCleaner”怎么删除
    sublime快捷键
    Json 文件注意事项
    加入购物车流程
  • 原文地址:https://www.cnblogs.com/nxf-rabbit75/p/12022298.html
Copyright © 2011-2022 走看看