zoukankan      html  css  js  c++  java
  • Spark安装及环境配置

    本人环境:win10
    安装spark环境所需的安装包已经打包好,放在文末的网盘中,只需解压后配置下面步骤中的环境变量即可。

    安装包及步骤:
    Jdk + 环境变量配置
    Hadoop + 环境变量配置
    Spark + 环境变量配置
    Scala
    JDK:
    下载官网
    根据电脑配置选择要下载的版本,本人下载的是jdk-8u211-windows-x64

    环境变量配置
    在系统变量中添加:

    变量名:JAVA_HOME
    变量值:安装路径

    如下图所示,D:spark_homeJavajdk1.8.0_211是本人jdk的安装路径


    在系统变量中添加:

    变量名:CLASSPATH
    变量值:%JAVA_HOME%lib

    在Path中添加:

    %JAVA_HOME%in

    Hadoop:
    下载网址:
    本人下载的是hadoop-2.7.5

    环境变量配置:
    在系统变量中添加:

    变量名:HADOOP_HOME
    变量值:安装路径

    如下图所示:D:spark_homehadoop-2.7.5是本人的安装路径

     

    在Path中添加:

    %HADOOP_HOME%in

    用winutils-master中对应版本的bin文件替换掉,hadoop安装文件中的bin文件

    winutils-master文件在文末网盘中

    Spark
    下载官网:
    本人下载的是spark-2.4.2-bin-hadoop2.7

    环境变量配置:
    在系统变量中添加:

    变量名:SPARK_HOME
    变量值:安装路径

    如下图所示:D:spark_homespark-2.4.2-bin-hadoop2.7是本人的安装路径


    在Path中添加:

    %SPARK_HOME%in
    %SPARK_HOME%sbin

    Scala:
    下载网址
    本人下载的是2.13.3版本的

    验证是否安装成功:
    重启电脑
    win + R:打开cmd,进入命令框
    输入:spark-shell
    我们可以看到spark安装成功

  • 相关阅读:
    celery 定时任务demo
    zip函数的使用
    关于数论的知识整理——待更新
    线性基
    博弈论博客推荐
    BZOJ1597: [Usaco2008 Mar]土地购买——斜率优化
    BZOJ1096 [ZJOI2007]仓库建设——斜率优化
    bzoj1010: [HNOI2008]玩具装箱toy——斜率优化
    斜率优化
    HDU3480 Division——四边形不等式或斜率优化
  • 原文地址:https://www.cnblogs.com/xiatian21/p/14941036.html
Copyright © 2011-2022 走看看