Spark系列之工具Jupyter

下载地址：https://www.anaconda.com/products/individual ，需要注册用户

配置安装bzip2  yum -y install bzip2

1、bash Anaconda3-2020.07-Linux-x86_64.sh

2、回车通过

3、配置环境变量

　　export  PATH=/root/anaconda3/bin:$PATH

4 、启动 

　　jupyter-notebook --ip bigdata --allow-root   

　　bigdata是机器的名字

　　

5、修改jupyter目录

　　生成配置：jupyter notebook --generate-config

　　　　

　　根据路径：vi .jupyter/jupyter_notebook_config.py  打开文件

　　找到如下位置并修改，c.NotebookApp.notebook_dir = '/root/jupyterBook'

6、配置juypter on spark　　　

　　#py-spark

　　# spark中的python路径
　　export PYTHONPATH=/mysoft/spark-2.3.0-bin-hadoop2.7/python:$PYTHONPATH    
　　export PYTHONPATH=/mysoft/spark-2.3.0-bin-hadoop2.7/python/lib/py4j-0.10.6-src.zip:$PYTHONPATH
　　export PYSPARK_DRIVER_PYTHON=jupyter
　　export PYSPARK_DRIVER_PYTHON_OPTS="notebook --ip=bigdata --no-browser --allow-root"

　　启动pyspark可以看到登录信息。