zoukankan      html  css  js  c++  java
  • Spark的四种部署方式并对应四种提交方式

    1 Local模式  
     
    本地模式  local模式 一台机器即可,开箱即用
    不指定master,或者 --master  local  local[N]  local[*]
    local模式下,使用多少个cores
    2 standalone集群模式  
     
    spark自带的集群模式  Master  Worker
        --master spark://host:port   指定master的地址
    3 spark on yarn
     
    把spark的程序提交到yarn集群中去运行
    --master yarn
     
    4 spark on mesos
    mesos  也是一个资源调度平台
    --master mesos://host:port
    4种不同的部署模式,指定不同的master即可。 
     
     
     
     
     
  • 相关阅读:
    spring cloud教程
    ideaaaaaaaaa
    Django
    Django 基础介绍
    Pychram
    python
    python
    python
    Python
    Python -- Scrapy 命令行工具(command line tools)
  • 原文地址:https://www.cnblogs.com/QuestionsZhang/p/10330848.html
Copyright © 2011-2022 走看看