zoukankan      html  css  js  c++  java
  • Python执行spark程序配置

    spark没有配置Python环境变量的时候使用Python只用spark时候回出现

    from pyspark import SparkConf,SparkContent
    ImportError: No module named pyspark

    所以要在环境变量中配置

    打开

    vim /etc/profile

    添加

    export SPARK_HOME=/usr/local/spark2.2
    export PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH

    添加过spark环境变量的这里直接用就行

    然后重启电脑或者 source /etc/profile  当前可用

    附上一段Python读取文本统计行数的代码

    from pyspark import  SparkConf,SparkContext
    
    conf = SparkConf().setMaster("local").setAppName("My App")
    sc= SparkContext(conf=conf)
    
    lines = sc.textFile("/root/opt/world/test.txt")
    print lines.count()
  • 相关阅读:
    intellij常用快捷键
    C++ 虚函数详解
    第七周作业
    第六周作业
    第四周作业
    第三周作业
    第二周作业
    第一周作业附加作业
    第一周作业。
    第0次作业
  • 原文地址:https://www.cnblogs.com/tong775131501/p/7582258.html
Copyright © 2011-2022 走看看