如何在windows下安装配置pyspark notebook

第一步：安装anaconda

anaconda自带一系列科学计算包

下载链接：http://pan.baidu.com/s/1b4jWlg 密码：fqq3

接着配置环境变量：如我安装在D盘下  

试一下命令行启动，确保ipython从anaconda启动

 

第二步：安装spark（需要提前安装JDK）

到官网下载spark安装包

http://spark.apache.org/downloads.html

我下的是这个版本：

解压缩之后，不要忘记添加环境变量

配置如下系统变量

 接着需要在命令行键入(spark安装目录下：如D:spark) > sbt package   进行编译

这一步很重要  拷贝 E:sparkpythonpyspark  到 D:anacondaLibsite-packages 目录下

第三步：修改sparkconf下的spark-env文件（不知道是否必要）

加入如下三行

export PYSPARK_PYTHON=/D:/anaconda
export PYSPARK_DRIVER_PYTHON=/D:/anaconda
export PYSPARK_SUBMIT_ARGS='--master local[*]'

第四步：启动pyspark

发现已启动成功，一般网页会自动打开http://localhost:8888/tree#

第五步：测试sc

成功！