zoukankan      html  css  js  c++  java
  • HADOOP__HADOOP基础安装和配置

    HADOOP安装过程

    (一) 硬件环境

    此次的作业,在之前的一个成功配置的基础之上,鉴于Ubuntu的操作系统,Server的占用内存比较小,启动较快,同时为了减轻机器的负担。做了如下的选择。

    操作系统 虚拟机 安装的系统 虚机数 CPU RAM
    Win7 Vmware 9 Ubuntu 12.04LTS Server 4台 I3 2310 6GB

    (二)软件环境

    由于Ubuntu的预装的程序较少,所以我自行安装了SSH程序,Ubuntu需要修改更新源(加快下载软件速度),这里就不具体描述了,修改/etc/apt/sources.list此更新源为163的源。

    Hadoop版本 JDK版本 SSH
    0.20.2 jdk-6u37-linux OPENSSH-SERVER

    (三)网络环境

    连接方式 Vmware设置成NAT连接方式    
    结点 IP地址 域名 备注
    Master 192.168.100.100 master hadoop中master结点
    Slave1 192.168.100.101 slave1 hadoop中slave结点
    Slave2 192.168.100.102 slave2 hadoop中slave结点
    Server 192.168.100.253 server DNS,NFS服务器
    / 192.168.100.254 / Vmware里面的网关和DNS服务器

    (四)安装步骤

    步骤1

    安装虚拟机,命名规范,用作于Master主机,后面用于复制。

    步骤2,

    配置HADOOP连接为NAT,关闭Floppy的开机连接等不必要的设备,设置好DNS

    步骤3,

    配置etc.network.interfaces,网关按照VMWARE中的设置设置,限定好IP地址

    步骤4,

    配置SSH SERVER来用SecureCrt连接,方便统一管理

    步骤5,

    修改HOSTNAME为规范的配置,修改HOSTS里面的本地对应的名称,要和hostname一致,否则会因为找不到对应主机而发生错误

    hostname

    hosts

    步骤6,

    在hadoop到新建的download文件夹中,并安装HADOOP到/usr/hadoop

    步骤7,

    JDK安装。安装好hadoop和JDK后。,配置etc.profile中的jdk和HADOOP环境变量

    步骤8,

    配置Hadoop中的SLAVES和MASTERS文件。

    slaves

    masters

    步骤9,

    配置hadoop-ENV.sh中的JAVA主目录,和core-site.xml和mapred-site.xml以及hdfs-site.xml等文件(以上文件均在hadoop/conf中)

    hadoop-env.sh

    core-site.xml

    mapred-site.xml

    hdfs-site.xml

    以上步骤结束后,利用Vmware的克隆功能功能出3份,一份用作于MASTER,其他两个为slave。 修改hostname和hosts文件,分别对应到master,slave1,slave2,按预先分配的设置。

    步骤10,

    生成ssh密钥,在/home/hadoop文件夹中输入该命令。生成的密钥文件夹为/home/hadoop/.ssh 该文件夹为隐藏文件夹

    用作与相互之间ssh的连接,此处分开生成是为了让三份ssh随机生成的密钥不一样,保证安全性。


    修改.ssh文件夹的权限,让其他人可读可执行,主要用于无密钥认证。


    以MASTER为主将其他主机和本机的密钥放入到authorized_keys中,汇集其他所有密钥后。分发到各台主机,实现全互联的无密钥认证。


    步骤11,

    以上做好配置,就要对namenode结点进行格式化了,初始化一些设置。


    步骤12

    启动hadoop,启动成功。



    遇到的问题:

    9001端口没有起来

    解决:使用以下命令解决9001端口的连同问题。

  • 相关阅读:
    机器学习笔记19(unspervised learning -> Word Embedding)
    full-stack-fastapi-postgresql-从安装docker开始
    H3C诊断模式下判断端口是否拥塞
    pandas 数据重塑--stack,pivot
    解决Mybatis 异常:A query was run and no Result Maps were found for the Mapped Statement 'xingzhi.dao.music.ISong.GetSongTotal'
    foreach + remove = ConcurrentModificationException
    Spring MVC 实体参数默认值设置
    JDBC中SQL语句与变量的拼接
    在IDEA中使用JDBC获取数据库连接时的报错及解决办法
    使用Docker分分钟搭建漂亮的prometheus+grafana监控
  • 原文地址:https://www.cnblogs.com/freeideas/p/3023287.html
Copyright © 2011-2022 走看看