zoukankan      html  css  js  c++  java
  • 05、Spark

    05、Spark shell连接到Spark集群执行作业

    5.1 Spark shell连接到Spark集群介绍

    Spark shell可以连接到Spark集群,spark shell本身也是spark的一个应用,是和Spark集群的一种交互方式。每次action动作的执行,都会对应一个job。

    5.2 连接方式指定

    #进入Spark bin目录
    $>cd /soft/spark/bin
    
    #连接到Spark master的RPC端口
    $>spark-shell --master spark://s101:7077
    

    注意:spark://s101:7077地址是在spark webui中显式的Spark master RPC端口,如下图所示:

    微信截图_20180609230607

    连接成功,进入如下画面:

    微信截图_20180609233105

    5.3 在集群上实现word count

    启动spark-shell后,读取hdfs上的文件,实现word count。操作步骤和在local模式下没有本质的不同,除了文件路径指定的是hdfs路径之外,其他部分均是相同的。shell操作如下:

    $scala>sc.textFile("hdfs://mycluster/user/centos/1.txt")
    	.flatMap(_.split(" "))
    	.map((_,1))
    	.reduceByKey(_+_)
    	.collect
    

    执行之后,运算结果如下图所示:

    微信截图_20180610075819

    查看spark webui界面显示结果如下图所示:

    微信截图_20180610080009

    微信截图_20180610080029

    微信截图_20180610080102

  • 相关阅读:
    Lock、Synchronized锁解析
    js多个计时器互不影响触发
    php Excel文件导入 Spreadsheet_Excel_Reader
    Tcp/ip简介
    对称加密和非对称加密
    AFNetworking 3.0迁移指南
    从 Objective-C 里的 Alloc 和 AllocWithZone 谈起
    iOS 沙盒
    SDWebImage解析
    dSYM文件
  • 原文地址:https://www.cnblogs.com/xupccc/p/9543971.html
Copyright © 2011-2022 走看看