zoukankan      html  css  js  c++  java
  • 【spark】windows spark 环境搭建

    Windows平台环境搭建
    JDK 1.8-8u201
    Scala 2.11.8
    spark 2.2.0
    hadoop 2.7.2
    sbt 0.13.13.1

     上面的几个软件之间相互有版本依赖关系的因此尽量要配套使用,链接:https://pan.baidu.com/s/1QEx-Q1jaRsO6-9tijw1Hdw  提取码:mnml 


    1. 首先安装 JDK

    1.JDK下载地址:
    http://www.oracle.com/technetwork/java/javase/downloads/index.html

    点开链接你应该看到如下图所示的界面:

    è¿éåå¾çæè¿°

    2.点击上图中箭头所指的地方,会出现下面的这个界面,此时你需要根据你的电脑系统来进行对应的版本进行选择,在选择版本和下载之前你需要首先接收协议,具体界面如下图所示:

    è¿éåå¾çæè¿°

    3.双击以后进行JDK的安装(记得按照第二幅图修改一下安装路径,不要什么东西都安装到系统盘,安装路径尽量不要有空格):
    (1)双击进行安装界面如下所示:

    这里写图片描述

    这里写图片描述

    这里写图片描述

    这里写图片描述

    这里写图片描述

    这里写图片描述

    4.安装完成后,需要进行环境变量的配置,右键我的电脑—属性----高级系统设置就会看到下面的界面:

    这里写图片描述

    5.点击上图中的环境变量,然后开始环境变量的配置:
    (1)点击系统变量下面的新建按钮,变量名JAVA_HOME(代表你的JDK安装路径),值对应的是你的JDK的安装路径。

    这里写图片描述


    (2)继续在系统变量里面新建一个CLASSPATH变量,其变量值如下图所示:

    这里写图片描述

    此处需要注意:最前面有一个英文状态下的小圆点。。。。很多初学者在配置环境变量的时候就会跌倒在这个坑里。
    (3)在你的系统变量里面找一个变量名是PATH的变量,需要在它的值域里面追加一段如下的代码:

    %JAVA_HOME%in;%JAVA_HOME%jrein;
    

    此时你应该在你原有的值域后面追加,记得在原有的值域后面记得添加一个英文状态下的分号。
    最后点击确定,此时JDK的环境变量配置就完成了。
    6.测试自己所配置的环境变量是否正确
    (1)WINDOWS+R键,输入cmd,进入命令行界面,如下所示:这里写图片描述

    (2)输入java -version命令,可以出现如下图的提示,你可以看你安装的JDK版本。
    这里写图片描述
    (3)输入javac命令可以出现如下的提示:

    这里写图片描述


    (4)输入java命令就会出现如下图所示的结果

    这里写图片描述

    7.写一段代码可以验证一下
    (1)我在E盘新建了一个文件夹叫javafile,在里面有一个Java文件,名字叫TestJava.java,此时需要注意,你的文件名字后缀一定是.java
    (2)你需要在你的文件里面写下面的代码:

    public class TestJava{
    	
    	public static void main(String[] args){
    		System.out.println("I am a  java new learner!");
    	}
    }
    

    (3)继续windows+r键进入dos命令行,你需要首先进入你java文件所在的目录,然后分别使用javac命令对你的java文件进行编译,然后使用java命令来解析你的javac命令编译的结果,就会如下图所示这样:
    这里写图片描述

    此处一定要注意:必须进入文件所在的目录;其次使用javac命令 文件的名字的后面一定要跟着.java的文件后缀;使用java命令时.java后缀可以不用写。
    当你执行完javac命令如果没有错误提示,说明通过了编译,就会在你的文件目录下生成一个同名的.class文件。
    这里写图片描述

    如果你完成了以上的所有,并且结果显示正确,那么说明你的JDK安装和环境配置都很成功,此时你就可以开始你的JAVA学习了。
    JDK1.8 API链接:
    http://docs.oracle.com/javase/8/docs/api/
    JAVA tutorials:
    http://docs.oracle.com/javase/tutorial/

    二、Scala的安装

    Scala是一种类似Java的纯面向对象的函数式编程语言,由于函数具有明确的确定输入对确定输出的关系,所以适合推理和计算,一切函数都可以看成一系列的计算组成,另外由于Scala函数是没有副作用和透明的,所以非常适合做多核并行计算和云计算,现在正被越来越多的应用到生产中

    因为Scala运行在JVM上,所以应该首先配置好JDK环境,然后下面是Windows安装Scala环境的过程:

    1、下载

    首先去官网http://www.scala-lang.org/,然后点击导航栏的DOWNLOAD,进入下载链接:http://www.scala-lang.org/download/直接点击上面的按钮下载Windows安装包,Windows下安装包较大,100多M,下载到指定位置,准备安装

    2、安装

    双击scala-2.12.8.msi安装包,启动安装程序,

    单击Next下一步,然后选择安装位置,后来全部默认即可进入安装

    安装完毕后,点击Finish退出

    到这里Scala安装完毕 

    3、配置

    安装Scala之后,需要配置一下环境变量,从而直接从命令行访问,配置过程和JDK类似

    进入Windows环境变量,此处不再详细描述,然后在系统变量中新增SCALA_HOME变量,值是安装位置

    然后单击确定,编辑Path变量,在后面追加如下配置:

    然后单击确定,编辑Path变量,在后面追加如下配置:

    4、到这里Scala配置完毕,然后检验配置是否成功

    运行cmd,输入 scala -version 可以正常输出版本号:

    到这里scala就全部配置成功了!

    三、spark 安装

    下载后解压到指定目录即可,这里我们选择2.2.0版本

    http://spark.apache.org/downloads.html

    环境变量:

    创建SPARK_HOME:D:spark-2.2.0-bin-hadoop2.7

    Path添加:%SPARK_HOME%in

    测试是否安装成功:打开cmd命令行,输入spark-shell

    spark-shell时报错:error not found:value sqlContext。参考:https://blog.csdn.net/wenyusuran/article/details/81509467

    四、Hadoop安装

    地址:https://archive.apache.org/dist/hadoop/common/ 
    进去之后尽量往下翻,越是下面的版本越新。 è¿éåå¾çæè¿°
     
    由于我们之前选择下载spark的时候是基于Hadoop2.6版本的,所以我这里选择的是hadoop2.6.4版本 
    下载完毕后我们直接解压,解压完毕后开始设置我们的环境变量 ,hadoop的环境变量跟配置文件的设置自行百度即可。
    需要设置的变量有 
    HADOOP_HOME:E:hadoop-2.6.4 (解压目录) 
    PATH:E:hadoop-2.6.4in 
    上诉内容都准备好之后再次重新打开控制台输入spark-shell如果还有以上错误日志,那么请找到你的hadoopin目录找下里面有没有winutils.exe文件,如果没有的话,我们需要去下载。 
    winutils.exe下载地址https://github.com/steveloughran/winutils 
    进入目录后找到你相应的hadoop目录–进入bin—找到winutils.exe文件下载。下载好之后我们把它放到E:hadoop-2.6.4in 里面,确保该目录中有winutils.exe文件。
    è¿éåå¾çæè¿°

    那么下面就需要在控制台输入一下命令来修改权限

    E:hadoop-2.6.4inwinutils.exe chmod 777 /tmp/hive
    1
    注意该命令需要根据你实际的hadoop所在目录。 
    好了,经过这么多的准备工作,我想我们的spark到此已经安装完毕了。下面我们重新打开一个控制台窗口输入spark-shell看下结果吧。 

    è¿éåå¾çæè¿°

    è¿éåå¾çæè¿°

    如果你看到上诉两图所圈住的日志信息,那么,恭喜您,spark已经安装成功了! 

    关注公众号 海量干货等你
  • 相关阅读:
    SQLite打开提示database disk image is malformed
    windows查看端口占用
    新浪SAE使用Thinkphp框架,禁用memcache节省豆子的方法
    Realtek 8168 安装 VMware ESXi 提示没有驱动
    13年国庆彩蛋
    Flex使用宋体渲染越南语显示错误
    微信 编码要UTF8
    WeiXin 验证成为开发者和更换服务器验证代码
    测试网络连通情况
    废弃sqlite代码,备查
  • 原文地址:https://www.cnblogs.com/sowhat1412/p/12734192.html
Copyright © 2011-2022 走看看