zoukankan      html  css  js  c++  java
  • spark在eclipse下V2-02逐个运行spark-examples

    逐个运行例子,查看结果

     

    举例说明HADOOP_HOME环境变量

    org.apache.spark.examples.sql.hive.JavaSparkHiveExample

    修改Run Configuration,添加Env HADOOP_HOME=${HADOOP_HOME}

    运行Java 类。hive例子用完,要删掉metastore_db目录。

    下面用简单的方法逐个运行

    eclipse ->File->Import->Run/Debug Launch Configuration

    浏览到easy_dev_labs unconfig目录。导入全部。

    现在从Eclipse->Run->Run Configuration

    从JavaConsumerReceiver开始,逐个往下运行。凡是没有写出来的,都是直接运行即可。

    运行JavaconsumerReceiver前,先要运行SocketServer。

    JavaDirectKafkaWordCount:先要运行KafkaSvr。 运行kfksvr后,去掉kafkamaven依赖,然后运行JavaDirectKafkaWordCount。做完这个例子后加上kafka到maven中。

    JavaNetworkWordCount依赖SocketServer

    JavaFlumeEventCount先运行,而后运行FlumeSvr。

    此后SocketSvr,FlumeSvr,KafkaSvr都开着,无需关掉。

    JavaKafkaWordCount依赖KafkaSvr。用原始pom文件即可。

    JavaRecoverableNetworkWordCount依赖SocketServer

    JavaSqlNetworkWordCount依赖SocketServer

    随后可以看看这些例子的官方说明,了解例子中各个代码段的含义。

    https://spark.apache.org/examples.html

  • 相关阅读:
    matlab常见函数汇总
    matlab矩阵合并汇总
    matlab之光谱预处理
    matlab添加高斯噪声
    ArcMap将shp文件批量逐个导出
    hdu 1090 A+B for Input-Output Practice (II)
    c语言插入排序递归法
    c语言最大公约数(辗转相除法)递归
    c语言斐波那契数列递归法
    c语言反转字符串
  • 原文地址:https://www.cnblogs.com/wifi0/p/7800171.html
Copyright © 2011-2022 走看看