zoukankan      html  css  js  c++  java
  • 【spark】windows spark 环境搭建

    Windows平台环境搭建
    JDK 1.8-8u201
    Scala 2.11.8
    spark 2.2.0
    hadoop 2.7.2
    sbt 0.13.13.1

     上面的几个软件之间相互有版本依赖关系的因此尽量要配套使用,链接:https://pan.baidu.com/s/1QEx-Q1jaRsO6-9tijw1Hdw  提取码:mnml 


    1. 首先安装 JDK

    1.JDK下载地址:
    http://www.oracle.com/technetwork/java/javase/downloads/index.html

    点开链接你应该看到如下图所示的界面:

    è¿éåå¾çæè¿°

    2.点击上图中箭头所指的地方,会出现下面的这个界面,此时你需要根据你的电脑系统来进行对应的版本进行选择,在选择版本和下载之前你需要首先接收协议,具体界面如下图所示:

    è¿éåå¾çæè¿°

    3.双击以后进行JDK的安装(记得按照第二幅图修改一下安装路径,不要什么东西都安装到系统盘,安装路径尽量不要有空格):
    (1)双击进行安装界面如下所示:

    这里写图片描述

    这里写图片描述

    这里写图片描述

    这里写图片描述

    这里写图片描述

    这里写图片描述

    4.安装完成后,需要进行环境变量的配置,右键我的电脑—属性----高级系统设置就会看到下面的界面:

    这里写图片描述

    5.点击上图中的环境变量,然后开始环境变量的配置:
    (1)点击系统变量下面的新建按钮,变量名JAVA_HOME(代表你的JDK安装路径),值对应的是你的JDK的安装路径。

    这里写图片描述


    (2)继续在系统变量里面新建一个CLASSPATH变量,其变量值如下图所示:

    这里写图片描述

    此处需要注意:最前面有一个英文状态下的小圆点。。。。很多初学者在配置环境变量的时候就会跌倒在这个坑里。
    (3)在你的系统变量里面找一个变量名是PATH的变量,需要在它的值域里面追加一段如下的代码:

    %JAVA_HOME%in;%JAVA_HOME%jrein;
    

    此时你应该在你原有的值域后面追加,记得在原有的值域后面记得添加一个英文状态下的分号。
    最后点击确定,此时JDK的环境变量配置就完成了。
    6.测试自己所配置的环境变量是否正确
    (1)WINDOWS+R键,输入cmd,进入命令行界面,如下所示:这里写图片描述

    (2)输入java -version命令,可以出现如下图的提示,你可以看你安装的JDK版本。
    这里写图片描述
    (3)输入javac命令可以出现如下的提示:

    这里写图片描述


    (4)输入java命令就会出现如下图所示的结果

    这里写图片描述

    7.写一段代码可以验证一下
    (1)我在E盘新建了一个文件夹叫javafile,在里面有一个Java文件,名字叫TestJava.java,此时需要注意,你的文件名字后缀一定是.java
    (2)你需要在你的文件里面写下面的代码:

    public class TestJava{
    	
    	public static void main(String[] args){
    		System.out.println("I am a  java new learner!");
    	}
    }
    

    (3)继续windows+r键进入dos命令行,你需要首先进入你java文件所在的目录,然后分别使用javac命令对你的java文件进行编译,然后使用java命令来解析你的javac命令编译的结果,就会如下图所示这样:
    这里写图片描述

    此处一定要注意:必须进入文件所在的目录;其次使用javac命令 文件的名字的后面一定要跟着.java的文件后缀;使用java命令时.java后缀可以不用写。
    当你执行完javac命令如果没有错误提示,说明通过了编译,就会在你的文件目录下生成一个同名的.class文件。
    这里写图片描述

    如果你完成了以上的所有,并且结果显示正确,那么说明你的JDK安装和环境配置都很成功,此时你就可以开始你的JAVA学习了。
    JDK1.8 API链接:
    http://docs.oracle.com/javase/8/docs/api/
    JAVA tutorials:
    http://docs.oracle.com/javase/tutorial/

    二、Scala的安装

    Scala是一种类似Java的纯面向对象的函数式编程语言,由于函数具有明确的确定输入对确定输出的关系,所以适合推理和计算,一切函数都可以看成一系列的计算组成,另外由于Scala函数是没有副作用和透明的,所以非常适合做多核并行计算和云计算,现在正被越来越多的应用到生产中

    因为Scala运行在JVM上,所以应该首先配置好JDK环境,然后下面是Windows安装Scala环境的过程:

    1、下载

    首先去官网http://www.scala-lang.org/,然后点击导航栏的DOWNLOAD,进入下载链接:http://www.scala-lang.org/download/直接点击上面的按钮下载Windows安装包,Windows下安装包较大,100多M,下载到指定位置,准备安装

    2、安装

    双击scala-2.12.8.msi安装包,启动安装程序,

    单击Next下一步,然后选择安装位置,后来全部默认即可进入安装

    安装完毕后,点击Finish退出

    到这里Scala安装完毕 

    3、配置

    安装Scala之后,需要配置一下环境变量,从而直接从命令行访问,配置过程和JDK类似

    进入Windows环境变量,此处不再详细描述,然后在系统变量中新增SCALA_HOME变量,值是安装位置

    然后单击确定,编辑Path变量,在后面追加如下配置:

    然后单击确定,编辑Path变量,在后面追加如下配置:

    4、到这里Scala配置完毕,然后检验配置是否成功

    运行cmd,输入 scala -version 可以正常输出版本号:

    到这里scala就全部配置成功了!

    三、spark 安装

    下载后解压到指定目录即可,这里我们选择2.2.0版本

    http://spark.apache.org/downloads.html

    环境变量:

    创建SPARK_HOME:D:spark-2.2.0-bin-hadoop2.7

    Path添加:%SPARK_HOME%in

    测试是否安装成功:打开cmd命令行,输入spark-shell

    spark-shell时报错:error not found:value sqlContext。参考:https://blog.csdn.net/wenyusuran/article/details/81509467

    四、Hadoop安装

    地址:https://archive.apache.org/dist/hadoop/common/ 
    进去之后尽量往下翻,越是下面的版本越新。 è¿éåå¾çæè¿°
     
    由于我们之前选择下载spark的时候是基于Hadoop2.6版本的,所以我这里选择的是hadoop2.6.4版本 
    下载完毕后我们直接解压,解压完毕后开始设置我们的环境变量 ,hadoop的环境变量跟配置文件的设置自行百度即可。
    需要设置的变量有 
    HADOOP_HOME:E:hadoop-2.6.4 (解压目录) 
    PATH:E:hadoop-2.6.4in 
    上诉内容都准备好之后再次重新打开控制台输入spark-shell如果还有以上错误日志,那么请找到你的hadoopin目录找下里面有没有winutils.exe文件,如果没有的话,我们需要去下载。 
    winutils.exe下载地址https://github.com/steveloughran/winutils 
    进入目录后找到你相应的hadoop目录–进入bin—找到winutils.exe文件下载。下载好之后我们把它放到E:hadoop-2.6.4in 里面,确保该目录中有winutils.exe文件。
    è¿éåå¾çæè¿°

    那么下面就需要在控制台输入一下命令来修改权限

    E:hadoop-2.6.4inwinutils.exe chmod 777 /tmp/hive
    1
    注意该命令需要根据你实际的hadoop所在目录。 
    好了,经过这么多的准备工作,我想我们的spark到此已经安装完毕了。下面我们重新打开一个控制台窗口输入spark-shell看下结果吧。 

    è¿éåå¾çæè¿°

    è¿éåå¾çæè¿°

    如果你看到上诉两图所圈住的日志信息,那么,恭喜您,spark已经安装成功了! 

    关注公众号 海量干货等你
  • 相关阅读:
    1093 Count PAT's(25 分)
    1089 Insert or Merge(25 分)
    1088 Rational Arithmetic(20 分)
    1081 Rational Sum(20 分)
    1069 The Black Hole of Numbers(20 分)
    1059 Prime Factors(25 分)
    1050 String Subtraction (20)
    根据生日计算员工年龄
    动态获取当前日期和时间
    对计数结果进行4舍5入
  • 原文地址:https://www.cnblogs.com/sowhat1412/p/12734192.html
Copyright © 2011-2022 走看看