zoukankan      html  css  js  c++  java
  • Spark开发环境

    1. Win7下利用Intellij IDEA构建Spark开发环境

    前提:Intellij IDEA Community 免费版下载(最新版14.0.1),Scala插件下载(最新版scala-intellij-bin-1.1.2.zip)

    1> 安装Intellij IDEA Scala运行环境

    http://blog.csdn.net/asongoficeandfire/article/details/26412493

    Note: 

    a. 新建Scala Project后,会出现相应的树形目录,在src中新建测试文件时,没有scala文件可选(solution:点击最右侧Project Structure -> Platform Setting -> Global Libraries -> 点击中间的"+" -> Scala SDK即可显示Scala相关文件);

    b. 调节字体大小及背景颜色(点击左上File -> Setting -> Editor -> Colors & Fonts -> 先Save As后再调节文字大小及背景颜色)

    c. 将相应文件打包成.jar文件,便于提交该项目运行于Spark集群上(File->Project Structure或者点击右侧相应的图标均可进入项目的配置界面,在左侧选择Artifacts,点击绿色的+号,即新建一个打包操作,选中新建的unnamed打包项之后,可以配置jar包的名称,输出路径,还可以选择jar包中包含的其它文件;配置完成后,我们就可以在菜单栏中选择Build->Build Artifacts...,然后使用Build、ReBuild等命令打包啦。打包完成后会在状态栏中显示“Compilation completed successfully...”的信息,去jar包输出路径下查看,就能拿到我们的jar包啦。)

    2. 搭建Spark源码阅读环境(需要联网)

    前提:Linux 下git安装(http://senluowanxiangt.blog.163.com/blog/static/14060264620136288321016/)

    注意:今天在测试环境使用yum安装,遇到一个问题:Error: Cannot retrieve metalink for repository: epel. Please verify its path and try again

    Solution:修改文件“/etc/yum.repos.d/epel.repo”, 将所有baseurl的注释取消, mirrorlist注释掉即可。

    1> 在linux操作系统上生成intellij项目文件(需要安装git,不需要安装scala,sbt会自动下载):

         -> 在spark源代码根目录下,输入sbt/sbt gen-idea即可,过程如下:

        [root@Master spark-1.1.0]# sbt/sbt gen-idea
        Using /home/Spark/husor/jdk as default JAVA_HOME.
        Note, this will be overridden by -java-home if it is set.
        Attempting to fetch sbt
        ######################################################################## 100.0%
        Launching sbt from sbt/sbt-launch-0.13.5.jar
        Getting org.scala-sbt sbt 0.13.5 ...

    2> 在intellij IDEA中直接通过“Open Project”打开项目,导入上述生成的Spark 源码intellij项目文件。

    Note:

    如果你在windows下阅读源代码,建议先在linux下生成项目文件,然后导入到windows中的intellij IDEA中。

    参照:http://dongxicheng.org/framework-on-yarn/apache-spark-intellij-idea/

  • 相关阅读:
    [安装程序配置服务器失败]解决SQL Server2000安装失败
    C# 操作 XML 增 删 改 查
    批量修改文件的编码格式
    获取SqlServer2005表结构(字段,主键,外键,递增,描述)
    .NET 特性Attribute[一]
    windows2003远程桌面退出后系统自动注销的解决方法
    SqlServer 无日志文件附加
    接受来自服务器的数据连接时发生超时(30000 毫秒)问题原因及解决方法
    .net中数据集合导出为Excel(支持泛型及显示字段顺序,可自定义显示列名)
    EF中自编写SQL脚本查询结果(适用于复杂SQL逻辑提高查询效率)
  • 原文地址:https://www.cnblogs.com/likai198981/p/4121190.html
Copyright © 2011-2022 走看看