win10部署spark和jupyter

一. JAVA8安装：

1. 安装步骤（略）

2. 验证：

java -version

二. Python3.6安装：

1. 安装步骤（略）

2. 验证：

python --version

pip3 --version

三. scala安装：

1. 安装步骤：

下载地址：https://www.scala-lang.org/download/

下载scala-2.13.1.msi版本，点击安装

注意：scala的安装目录不能有空格，所以不能安装到默认的 program profile 目录下。

2. 验证：

scala -version

四. spark安装：

1. 安装步骤：

下载地址：https://spark.apache.org/downloads.html

2. 配置环境变量：

配置SPARK_HOME

添加path：%SPARK_HOME%in;%SPARK_HOME%sbin;

3. 验证：

pyspark

（会报winutils错误）

五. hadoop配置（不配置会报winutils错误）

1.  配置步骤：

建一个{path}hadoopin目录

下载地址：https://github.com/steveloughran/winutils/releases/download/tag_2017-08-29-hadoop-2.8.1-native/hadoop-2.8.1.zip

将文件内容拷贝到{path}hadoopin中。

2. 配置环境变量：

配置HADOOP_HOME

添加path：%HADOOP_HOME%in

3. 验证：

pyspark

（不会报错）

六. 安装jupyter：

安装步骤：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple jupyter

启动：

jupyter notebook --ip 0.0.0.0

以下为远程访问方式：

获取带token的链接：
jupyter notebook list

复制链接，将0.0.0.0替换为实际ip，到浏览器登陆。

七. 其他包：

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple findspark

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple sklearn

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple pandas

pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple matplotlib