zoukankan      html  css  js  c++  java
  • ubuntu 14.04下spark简易安装

    java安装

    首先需要上oracle的网站下载

    在lib目录下建立一个jvm文件夹

    1. sudo mkdir /usr/lib/jvm

    然后解压文件到这个文件夹

    1. sudo tar zxvf jdk-8u40-linux-i586.tar.gz -C /usr/lib/jvm

    进入解压文件夹

    1. cd /usr/lib/jvm

    然后为了方便改个名字
    sudo mv jdk1.8.0_40 java

    打开配置文件

    1. sudo gedit ~/.bashrc

    加入以下设置

    1. export JAVA_HOME=/usr/lib/jvm/java
    2. export JRE_HOME=${JAVA_HOME}/jre  
    3.     export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
    4.     export PATH=${JAVA_HOME}/bin:$PATH

    使之生效:

    1. source ~/.bashrc

    完成

    安装spark

    下载prebuild的spark安装包

    解压

    1. tar -xzf spark-1.2.0-bin-hadoop2.4.tgz

    然后其实这个时候spark的python模式就可以使用了。只要cd进去运行bin目录下的pyspark就可以了。但是我们下面要做的就是链接和选择一个好些的位置存放文件

    链接

    先把文件岁半换个地方放

    1. sudo mv spark-1.2.1-bin-hadoop2.4 /srv/

    然后设个链接

    1. sudo ln -s /srv/spark-1.2.1-bin-hadoop2.4/ /srv/spark

    再修改下~/.bash_profile就可以了

    1. export SPARK_HOME=/srv/spark
    2. export PATH=$SPARK_HOME/bin:$PATH

    完成

    命令行直接执行pyspark





  • 相关阅读:
    SpringBoot配置文件数据格式三种写法
    实施工程师
    Linux命令大全
    PDCA原则
    cmd命令下载maven管理需要的依赖jar包
    java集合体系结构总结
    回溯
    红黑树详解
    Java 垃圾回收算法
    MySQL优化:如何避免回表查询?什么是索引覆盖
  • 原文地址:https://www.cnblogs.com/MrLJC/p/4355417.html
Copyright © 2011-2022 走看看