zoukankan      html  css  js  c++  java
  • Spark读取json数据不匹配的情况

      今天晚上,我们老师给我们布置了一个任务,用spark读取一些json数据,然后做一些数据分析的任务

      

       我以为重头戏是数据分析的部分,没想到自己被读取json数据拦了1个多小时,写篇博客记录下 orz

       常规的读取数据:

     val userInfo = spark.read.format("json").
    json( "WebProjectTest/data/Users_Data.log")
    val userLog = spark.read.format("json").
    json( "WebProjectTest/data/Log_Data.log")

     

      数据集1

       

      数据集2

      一开始我死抓数据集1,可是读取出来的数据并不是对应的,而是混乱的

      想了半天没想明白,然后试了下数据集2,却发现没有毛病

      这就奇了怪,难道是数据太大的原因,可是spark本来就是处理大数据的,没理由这100MB就给干趴了啊

      我决定将数据集1中的数据截取一点出来,然后自己试验一下,终于让我发现原来是

     这个0开头的问题,然后去搜了一下0开头的数据怎么处理,果然在读取json的时候有专门对应的选项

    附上我搜到的结果路径

    <a href>https://blog.csdn.net/weixin_42411818/article/details/98734464</a>

  • 相关阅读:
    [转载]游戏外挂原理
    python cookbook
    RF user guide
    测试理论-selenium的工作原理
    测试理论- the conten of test plan
    测试理论--branch testing and boundary testing
    测试理论--向高级出发
    fiddler安装及配置
    python 面试题: 列表表达式
    [redis]如何将redis设置成diango的cache backend
  • 原文地址:https://www.cnblogs.com/ro0k1e/p/13046537.html
Copyright © 2011-2022 走看看