K8S & Mesos 模式
Mesos 是 Apache 下的开源分布式资源管理框架,它被称为是分布式系统的内核,在
Twitter 得到广泛使用,管理着 Twitter 超过 30,0000 台服务器上的应用部署,但是在国内,依
然使用着传统的 Hadoop 大数据框架,所以国内使用 Mesos 框架的并不多,但是原理其实都
差不多,这里我们就不做过多讲解了。
容器化部署是目前业界很流行的一项技术,基于 Docker 镜像运行能够让用户更加方便
地对应用进行管理和运维。容器管理工具中最为流行的就是 Kubernetes(k8s),而 Spark
也在最近的版本中支持了 k8s 部署模式。这里我们也不做过多的讲解。给个链接大家自己感
受一下:https://spark.apache.org/docs/latest/running-on-kubernetes.html
每次都需要启动虚拟机,启动集群,这是一个比较繁琐的过程,
并且会占大量的系统资源,导致系统执行变慢,不仅仅影响学习效果,也影响学习进度,
Spark 非常暖心地提供了可以在 windows 系统下启动本地集群的方式,这样,在不使用虚拟
机的情况下,也能学习 Spark 的基本使用,摸摸哒!