现在时间2017-04-17。
python版本3.5支持pyspark
python3.6目前还不支持
做法简单,只需要在bin/pyspark中增加
export PYSPARK_PYTHON=python3
再次打开bin/pyspark即配置完成pyspark采用python3.
如果想使用ipython,则增加下面两行到bin/pyspark中
export PYSPARK_PYTHON=python3
export PYSPARK_DRIVER_PYTHON=ipython
参考链接https://www.zhihu.com/question/56108986