zoukankan      html  css  js  c++  java
  • Hadoop分布式平台搭建

    环境:CentOS 7.4 (1708  DVD)

    工具:MobaXterm

    一、 安装

    1. 将hadoop安装包上传到/usr/local目录下,将其解压并重命名。

    2. 配置hadoop的环境变量并source。

    二、 基本配置

    1. 切换到配置文件目录下。

    2. 修改hadoop-env.sh文件。配置JAVA_HOME为jdk的安装目录。

    3. 修改core-site.xml文件。hadoop.tmp.dir为缓存目录。配置完成后手动创建hdfs/dir目录(理论上会自动创建)。

    4. 修改hdfs-site.xml文件。配置完成后手动创建name和data目录(理论上会自动创建)。

    5. 修改mapre-site.xml文件。初始状态下该文件只有模板,将其改名后进行修改。

    6. 修改yarn-site.xml文件。

    7. 修改slaves文件。

    三、 分发文件

    1. 使用scp命令将hadoop安装目录和profile一并复制到slave1和slave2上,在slave1和slave2上source一下新的profile。

    四、 启动

    1. 对三台主机进行初始化操作。

    2. 启动。master使用start-dfs.sh命令,slave2使用start-yarn.sh命令。也可以直接在master上start-all.sh。反之使用stop-all.sh关闭平台。

    3. 在三台主机上使用jps命令验证启动结果。

  • 相关阅读:
    Centos7 关闭防火墙
    Linux下磁盘挂载
    Sqlserver游标复习
    Redis-benchmark测试Redis性能
    将treeview控件内容导出图片
    使用redis进行消息推送
    web性能优化系列之网站瓶颈识别
    SqlServer时间格式化
    PHP二位数组/多维数组 根据某个键值排序
    VIM Taglist + ctags
  • 原文地址:https://www.cnblogs.com/charon233/p/13683470.html
Copyright © 2011-2022 走看看