zoukankan      html  css  js  c++  java
  • 基于服务器版centos7的Hadoop/spark搭建

    前提说明:

    1.Hadoop与spark是两个独立的框架,只安装spark也可独立运行,spark有自己的调度器(standalone模式);

    2.在Hadoop的基础上安装spark就是为了使用yarn调度器与Hadoop的hdfs存储;

    3.如果你只想安装spark,可不用看Hadoop的安装,并不影响spark的安装与使用。

    4.并不需要单独安装scala,因为spark之中已经集成了Scala(如果想要对应的版本也可以自己安装)

    我的安装环境:

    centos7服务器版、jdk8、hadoop2.7.4、spark2.4.0(请自行下载到所有节点Linux虚拟机中)(我没有使用克隆虚拟机的方式)

    虚拟机数量:3(master、slave、slave)

    实体机:win10

    一.前期环境的配置

    1.IP配置

    1.1虚拟机网络设置

      三台虚拟机均要设置成桥接模式,不然无法使用外部浏览器访问虚拟机,虽然能ping通并且ssh能够连接上

    1.2静态IP配置

      注:1.实体机在连接网线与wlan模式下IP不同,请在一种网络连接下配置(我的是在连接网线状态下)

        2.如果不配置静态IP,在桥接模式下IP会自动获取,在后期无法使用

      (1)首先在实体机中的cmd中查看并己住本机ip、网关、子掩网码:

      (2)使用命令:ipconfig

       (3)根据以上信息填写如下文件:

        sudo vi /etc/sysconfig/network-scripts/ifcfg-ens33(有的是ifcfg-eno16777736文件)

        改成如下:

    2.1接下来按照如下链接进行

    https://www.linuxidc.com/Linux/2018-06/152795.htm

    注:在链接中的2.3中:

    scp -r /usr/local/hadoop-2.6.5 root@hadoop2:/usr/local/

    scp -r /usr/local/hadoop-2.6.5 root@hadoop3:/usr/local/

    链接作者是使用root用户进行安装配置的,没有问题,但是就像我使用非root进行root进行安装的,所以后期启动hadoopspark会报权限错误,可使用如下方法进行更改目录所属用户权限:

    chown -R user /usr/local/hadoop-2.7.4

    同样,配置spark时也是一样

    按照链接进行配置,亲测可行,虽然系统有所差异,但是不大,皆可百度、谷歌解决。

    感谢链接作者,非常详尽!

  • 相关阅读:
    并不对劲的CF1236D&E:Alice&Doll&UnfairGame
    并不对劲的CF1194E:Count The Rectangles
    并不对劲的CF1239B&C&D Programming Task in the Train to Catowice City
    并不对劲的初赛蒙猜凑思路
    并不对劲的CF1237D&E:Balanced Playlist and Binary Search Trees
    并不对劲的???
    并不对劲的P5589
    (简单) POJ 1511 Invitation Cards,SPFA。
    (简单) POJ 3159 Candies,Dijkstra+差分约束。
    (简单) POJ 2502 Subway,Dijkstra。
  • 原文地址:https://www.cnblogs.com/tttzqf/p/10797502.html
Copyright © 2011-2022 走看看