zoukankan      html  css  js  c++  java
  • idea构建spark开发环境,并本地运行wordcount

    1、首先现在idea,官网:https://www.jetbrains.com/idea/

    2、安装jdk1.8,scala2.11

    3、下载idea后,需要在idea中安装scala的插件,安装的方式如下:

    File--->settings--->Plugins--->输入scala(下图是我已经安装好了)

    3、配置spark依赖包

    下载spark相关的包spark-2.1.1-bin-hadoop2.7.tgz 并将spark相关的jars依赖包添加到项目的library中,具体操作如下:

    选中项目,按F4

    添加依赖包如下所示:(注意后面必须是Compile)

    4、出现的问题:

     (1)Error:(9, 8) App is already defined as object App

    object App {}

     

    这种问题是因为设置了多个source。只需要src为source即可。

  • 相关阅读:
    UIAlertView
    网络请求ASIhttp
    省份城市选择
    Certificates
    UTF8
    xcode增加注释插件
    常用片段 button Label
    开发铺助工具
    iOS UI框架
    iOS 引导页
  • 原文地址:https://www.cnblogs.com/ljy2013/p/9322165.html
Copyright © 2011-2022 走看看