zoukankan      html  css  js  c++  java
  • 启动一个最简单的spark作业

    首先肯定先是把整个算法包给打出来,打出来之后,打印出来之后,是要通过一个工具,将这个作业提交给整个spark集群

    首先一个spark是怎么启动这些作业的,首先就是一个最简单的例子,看一下spark里面是怎么去执行的

    SparkContext: Added JAR file:///home/hon/Downloads/spark-3.1.1-bin-hadoop2.7/examples/jars/scopt_2.12-3.7.1.jar at spark://station.lan:42700/jars/scopt_2.12-3.7.1.jar with timestamp 1621816398607

    这里就是一个最简单的jar包了。所以说java的jar包里是包含了那些可以执行的类,这些可以执行的类就是将来程序执行的入口了。这些可执行的类就是将来程序的入口了

    jar包其实就是一些class文件的集合,然后javac要做的事情呢,就是根据把java文件编译成class文件,然后怎么一个类就执行了,很是奇怪

    都是按照

     哎~~终于做出来了,自己的第一个spark作业终于跑起来了。

    java打包的时候一定要注意,jar包里面的目录结构一定是要和包的路径相匹配的。

    所以spark做到了对数据的建模,然后对数据有了特定模式的建模;

    from shima:现在所有的大数据平台,都想做sql这一套东西。

    现在所有的大数据平台,也都是想着做sql这一套东西。

    将来也是一个大文件直接输出的

  • 相关阅读:
    linux(ubuntu) 安装 node.js
    正反向代理
    js正则表达式----replace
    webpack开发小总结
    稳定排序和非稳定排序
    树状数组 --- (离散化+树状数组、求逆序对)
    编程之美初赛第一场 题目3 : 活动中心
    巴什博弈 杭电 1847
    巴什博弈 杭电 1846
    约瑟夫环问题详解
  • 原文地址:https://www.cnblogs.com/honpey/p/14807098.html
Copyright © 2011-2022 走看看