zoukankan      html  css  js  c++  java
  • 第二天入职

    2019/8/20 10:11

    我收回我昨天说很闲的话,昨天可是把我累死了,今天早上终于搞出来了,使用的是rdd和集合,rdd的每一项并发去匹配,集合中的hash中的集合的每一项

    如果存在就将hash中的key给rdd的每一项

    之后返回了一个utils我觉得很有趣,现在我想做的就是把目前的utils更新到mysql数据库中。但是我太高兴了,我就找他给 我安排任务,有点后悔,他让我

    导入excel的表格里的数据到mysql里(我打算使用kettle,第二次用,很好用),另外,继续做与刚才同样的操作。

    所以我给自己上午定了个目标,就是把数据写好,更新到mysql中并且弄张新表出来,新表就是我刚刚映射完成的数据。

    最后搞了一下午,搞定了。

    有个问题就是,while中,可以用scala的集合添加数据

    但是在spark的rdd的foreach里添加的数据都会被无效化。

    所以有2种解决方案,1.使用map

              2.使用while

  • 相关阅读:
    Beta 冲刺 (3/7)
    软件产品案例分析(团队)
    Beta 冲刺 (2/7)
    Beta 冲刺1
    第七次作业
    第六次作业(计算器第四步)
    课堂作业二 PAT1025 反转链表
    第五次作业(计算器第三步)
    课堂作业一(16/05/04)
    Calculator(补)
  • 原文地址:https://www.cnblogs.com/BigDataBugKing/p/11381391.html
Copyright © 2011-2022 走看看