zoukankan      html  css  js  c++  java
  • Spark学习(一)

    一、启动Spark

    1、standalone模式

    方法一:
    (1)启动主节点

    ./sbin/start-master.sh
    

    访问http://127.0.0.1:8080,得到如下页面

    注意标记到的链接就是spark master节点的链接master-spark-URL
    (2)启动从节点

    ./sbin/start-slave.sh <master-spark-URL>
    
    

    再次访问http://127.0.0.1:8080,得到如下页面

    可以看到,从节点启动

    方法二:
    (1)设置SSH,本地免密码登录

    cat ~/.ssh/id_rsa.pub > ~/.ssh/authorized_keys
    

    (2)配置Spark slave

    cp ./conf/slaves.template ./conf/slaves
    

    (3)启动Spark伪分布式

    <SPARK_HOME>/sbin/start-all.sh
    

    (4)执行jps验证Spark启动成功

    6407 Worker
    6423 Jps
    6361 Master
    
    

    二、在IDEA中写一个简单的Spark程序

    报错

    Exception in thread "main" java.lang.NoSuchMethodError: scala.Predef$.refArrayOps([Ljava/lang/Object;)Lscala/collection/mutable/ArrayOps;
    	at org.apache.spark.util.Utils$.getCallSite(Utils.scala:1406)
    	at org.apache.spark.SparkContext.<init>(SparkContext.scala:76)
    	at base.SimpleApp$.main(SimpleApp.scala:13)
    	at base.SimpleApp.main(SimpleApp.scala)
    	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
    	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    	at java.lang.reflect.Method.invoke(Method.java:498)
    	at com.intellij.rt.execution.application.AppMain.main(AppMain.java:147)
    
    Process finished with exit code 1
    

    没有按照文档里面的Scala版本号下载对应的Scala,Spark 2.1.0对应下载的版本是Scala 2.11.7

    参考

    1.spark官方文档:Spark Standalone Mode
    2.Spark本地开发环境搭建:链接

  • 相关阅读:
    6.1 tar:打包备份
    6.3-4 zip、unzip
    6.5 scp:远程文件复制
    S7 Linux用户管理及用户信息查询命令
    7.6 passwd:修改用户密码
    7.2-5 usermod
    DES
    FreeRTOS笔记
    第4章 裸机系统和多任务系统
    第008课_第1个ARM落版程序及引申
  • 原文地址:https://www.cnblogs.com/fonxian/p/5653857.html
Copyright © 2011-2022 走看看