zoukankan      html  css  js  c++  java
  • Structure Streaming和spark streaming原生API访问HDFS文件数据对比

    此文已由作者岳猛授权网易云社区发布。

    欢迎访问网易云社区,了解更多网易技术产品运营经验。

    Structure Stream访问方式

    code examples

    import org.apache.spark.sql.streaming._
    val df = spark.readStream.text("/home/testhdfs")
    val ps = df.writeStream.format("console").outputMode(OutputMode.Append).start

    结论

    basedir = /home/testhdfs
    支持:mv file to basedir(/home/testhdfs)
    不支持:mv directory to basedir

    如果往basedir里面添加文件夹会出现ERROR:

    java.lang.AssertionError: assertion failed: Conflicting directory structures detected. Suspicious paths:
            hdfs://172.17.1.180:9000/home/testhdfs/data1
            hdfs://172.17.1.180:9000/home/testhdfsIf provided paths are partition directories, please set "basePath" in the options of the data source to specify the root directory of the table. If there are multiple root directories, please load them separately and then union them.

    spark streaming 访问方式

    测试textFile接口使用

    import org.apache.spark.streaming._
    val ssc = StreamingContext.getActiveOrCreate(() => new StreamingContext(sc,                  Seconds(120)))
    val ds1 = ssc.textFileStream("/home/testhdfs2")
    ds1.print
    ssc.start

    结论

    支持:mv file to basedir(/home/testhdfs2)
    支持:mv directory to basedir



    链接:https://www.jianshu.com/p/9eb8ff8f0660


    免费体验云安全(易盾)内容安全、验证码等服务

    更多网易技术、产品、运营经验分享请点击




    相关文章:
    【推荐】 一个只有十行的精简MVVM框架

  • 相关阅读:
    微信公众号扫一扫接口
    JDBC-用户登录验证(sql注入)
    JDBC
    Shell脚本
    java-变量总结
    java-那些方法不能被重写
    java-数组工具类
    java-类初始化与实例初始化
    java-static
    java-native修饰符
  • 原文地址:https://www.cnblogs.com/zyfd/p/9882496.html
Copyright © 2011-2022 走看看