python spark

1: spark使用python3

 pip3 install py4j (服务器和本机都要安装)

•  服务器提交python3脚本

export PYSPARK_PYTHON=python3
 ./spark-submit /root/bigdata/app.py

• 本机调试python脚本

1.      在pycharm中建立python3程序，点击run->edit configuration

               Environment variables，点击后面的编辑框，在变量栏目中依次添加PYTHONPATH,值为spark目录／python，SPARK_HOMR，值为spark安装目录，点ok退出。

     2.       修改spark python版本

               在每段python脚本前加这个

import os
os.environ["PYSPARK_PYTHON"]="python3"

2.脚本提交

cd 到bin目录下

./spark-submit --master spark://ip:7077  code.py