（1）安装----anaconda3下配置pyspark【单机】

1、确保已经安装jdk和anaconda3。【我安装的jdk为1.8，anaconda的python为3.6】

2、安装spark，到官网 http://spark.apache.org/downloads.html 上下载，我下载的是spark-2.3.1-bin-hadoop2.7.tgz。

　　（1）将上面的压缩包解压在一个文件夹下：注意存放的路径一定不能带空格，我存放在目录下E:programs2sparkspark-2.3.1-bin-hadoop2.7，然后将其加入环境变量中。

新建：SPARK_HOME = 'E:programs2sparkspark-2.3.1-bin-hadoop2.7'

在Path中添加：

%SPARK_HOME%in
%SPARK_HOME%sbin

 （2）配置anaconda的python环境变量：

新建 PYTHONPATH = %SPARK_HOME%pythonlibpy4j-0.10.7-src;%SPARK_HOME%pythonlibpyspark

（3）将E:programs2sparkspark-2.3.1-bin-hadoop2.7pythonpyspark整个文件夹复制到Anaconda3Libsite-packages文件夹中。

（4）添加系统环境变量
变量名：PYSPARK_DRIVER_PYTHON；变量值：ipython
变量名：PYSPARK_DRIVER_PYTHON_OPTS；变量值：notebook

3、安装Hadoop

到官网上下载hadoop-2.7.3.tar.gz，然后解压缩在E:programs2hadoophadoop-2.7.3

并且还需winutils.exe，winutils.pdb等，可在https://github.com/srccodes/hadoop-common-2.2.0-bin下载，然后复制到目录为：E:programs2hadoophadoop-2.7.3in

添加环境变量 HADOOP_HOME = E:programs2hadoophadoop-2.7.3

在Path中添加：%HADOOP_HOME%in;%HADOOP%sbin

4、确认是否安装成功

当输入命令pyspark出现界面时表明spark安装配置完成了，如果环境变量配置成功的话，直接把jupyter notebook打开。

参考：https://www.e-learn.cn/content/python/786199