zoukankan      html  css  js  c++  java
  • 启动一个最简单的spark作业

    首先肯定先是把整个算法包给打出来,打出来之后,打印出来之后,是要通过一个工具,将这个作业提交给整个spark集群

    首先一个spark是怎么启动这些作业的,首先就是一个最简单的例子,看一下spark里面是怎么去执行的

    SparkContext: Added JAR file:///home/hon/Downloads/spark-3.1.1-bin-hadoop2.7/examples/jars/scopt_2.12-3.7.1.jar at spark://station.lan:42700/jars/scopt_2.12-3.7.1.jar with timestamp 1621816398607

    这里就是一个最简单的jar包了。所以说java的jar包里是包含了那些可以执行的类,这些可以执行的类就是将来程序执行的入口了。这些可执行的类就是将来程序的入口了

    jar包其实就是一些class文件的集合,然后javac要做的事情呢,就是根据把java文件编译成class文件,然后怎么一个类就执行了,很是奇怪

    都是按照

     哎~~终于做出来了,自己的第一个spark作业终于跑起来了。

    java打包的时候一定要注意,jar包里面的目录结构一定是要和包的路径相匹配的。

    所以spark做到了对数据的建模,然后对数据有了特定模式的建模;

    from shima:现在所有的大数据平台,都想做sql这一套东西。

    现在所有的大数据平台,也都是想着做sql这一套东西。

    将来也是一个大文件直接输出的

  • 相关阅读:
    python 标准库和第3方库的介绍
    delphi延时函数
    delphi控件的安装
    Hadoop 第一课:linux常用命令
    复习 struts1 开发步骤
    struts学习:传统方法完成struts注册表单校验与回显数据
    struts入门第一个案例
    Java Ant build.xml详解
    HTTP 方法:GET 对比 POST
    HTTP 返回的状态消息
  • 原文地址:https://www.cnblogs.com/honpey/p/14807098.html
Copyright © 2011-2022 走看看