zoukankan      html  css  js  c++  java
  • 实验5 Spark SQL编程初级实践

    今天做实验【Spark SQL 编程初级实践】,虽然网上有答案,但在自己的环境下并不能够顺利进行

    在第二题中,要求编程实现将 RDD 转换为 DataFrame。根据所谓标准答案,在进行sbt 打包时,报如下错误

    [error] /home/hadoop/mycode/rddtodf/src/main/scala/rddtodf.scala:1: object types is not a member of package org.apache.spark.sql
    [error] import org.apache.spark.sql.types._
    [error]               ^
    [error] /home/hadoop/mycode/rddtodf/src/main/scala/rddtodf.scala:2: object Encoder is not a member of package org.apache.spark.sql
    [error] import org.apache.spark.sql.Encoder

    ……

    截图:

    根据错误描述可知,程序在第一行 import org.apache.spark.sql.types._ 处出错:types不是org.apache.spark.sql的成员

    解决方案:

    把程序每一行看作一个spark命令,在spark-shell一条一条地执行好了。。。

    第三题【编程实现利用 DataFrame 读写 MySQL 的数据】

    读取mysql?一定要用到 mysql-connector-java-xxx.jar 吧,但是答案中并未提及

    查阅书籍了解到,需要把mysql的jar包放在 /usr/local/spark/jars/mysql-connector-java-xxx/文件夹下,其中/usr/local/spark是spark安装目录xxx是mysql jar包版本。

    且启动Spark Shell时,须指定MySQL jar包,如图:

    (表示命令还没有结束)

    然后再把程序一条一条执行

    执行结果:

    可以看到,已经将新的两条数据插入到mysql数据库了

    (用时:1小时30分钟)

  • 相关阅读:
    html里特殊标签,试下就知道是什么了
    Eclipse 中文乱码问题
    PHP中的MYSQL常用函数总结
    PHP中$_SERVER的详细用法
    JQUERY获取radio,checkbox,select值
    jquery基础教程七 选择器(selectors 的xpath语法应用)
    php培训班的课程表 可自学参考
    php中trim()的特殊用法
    80后
    JQuery Attributes 方法说明
  • 原文地址:https://www.cnblogs.com/lzq666/p/10603269.html
Copyright © 2011-2022 走看看