zoukankan      html  css  js  c++  java
  • hadoop集群配置全过程

    一、nat配置
    1、虚拟机-》编辑-》虚拟网络编辑器-》更改设置-》移除原VMnet8-》加新的VMnet8-》点击NAT模式
    桥接模式-》NAT模式,初始化一下NAT模式
    2、编辑/etc/sysconfig/network-scripts/ifcfg-eth0
    DEVICE="eth0"
    BOOTPROTO="static"
    NM_CONTROLLED="yes"
    ONBOOT="yes"
    TYPE="Ethernet"
    IPADDR=192.168.126.10 #看虚拟机
    NETMASK=255.255.255.0
    GATEWAY=192.168.126.2 #看虚拟机
    DNS1=202.106.0.20
    3、/etc/init.d/network restart 重启网络

    二、hadoop安装
    1、挂起虚拟机-》复制虚拟机文件-》打开虚拟机
    2、slave分机
    编辑/etc/sysconfig/network-scripts/ifcfg-eth0
    DEVICE="eth0"
    BOOTPROTO="static"
    NM_CONTROLLED="yes"
    ONBOOT="yes"
    TYPE="Ethernet"
    IPADDR=192.168.126.11 #看虚拟机
    NETMASK=255.255.255.0
    GATEWAY=192.168.126.2 #看虚拟机
    DNS1=202.106.0.20
    3、/etc/init.d/network restart 重启网络
    4、虚拟机删除网卡再添加网卡
    5、master虚拟机与windows文件共享设置 jdk-6u45-linux-x64.bin、hadoop-1.2.1-bin.tar.gz
    /mnt/hgfs/ 下有了共享目录
    6、./jdk-6u45-linux-x64.bin 安装jdk
    添加全局变量 ~/.bashrc
    export JAVA_HOME=/usr/local/src/jdk1.6.0_45
    export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
    export PATH=$PATH:$JAVA_HOME/bin
    source ~/.bashrc 重启全局变量
    7、远程复制文件:scp -rp jdk-6u45-linux-x64.bin 192.168.126.11:/usr/local/src/
    8、slave分机重复第六步

    9、master主机解压hadoop-1.2.1-bin.tar.gz
    cd hadoop-1.2.1
    mkdir tmp
    cd conf
    vim master :内容为master
    vim slaves :内容为
    slave1
    slave2
    vim core-site.xml : 内容为
    <configuration>
    <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/src/hadoop-1.2.1/tmp</value>
    </property>
    <property>
    <name>fs.default.name</name>
    <value>hdfs://192.168.126.10:9000</value>
    </property>
    </configuration>
    vim mapred-site.xml :内容为
    <configuration>
    <property>
    <name>mapred.job.tracker</name>
    <value>http://192.168.126.10:9001</value>
    </property>
    </configuration>
    vim hdfs-site.xml :内容为
    <configuration>
    <property>
    <name>dfs.replication</name>
    <value>3</value>
    </property>
    </configuration>
    vim hadoop-env.sh :最后添加
    export JAVA_HOME=/usr/local/src/jdk1.6.0_45

    10、本地网络配置master和slave都要配置
    vim /etc/hosts
    192.168.126.10 master
    192.168.126.11 slave1
    192.168.126.12 slave2
    vim /etc/sysconfig/network
    HOSTNAME=master(根据机器填写:slave1/slave2)
    hostname master(根据机器填写:slave1/slave2)

    11、hadoop复制到分机
    scp -rp hadoop-1.2.1 192.168.126.11:/usr/local/src/
    scp -rp hadoop-1.2.1 192.168.126.12:/usr/local/src/

    12、关闭防火墙(每台机器都要执行)
    /etc/init.d/iptables stop
    setenforce 0 #关闭selinux

    三、master、slave建立互信关系
    ssh-keygen #回车回车
    cd ~/.ssh
    cat id_rsa.pub > authorized_keys #公钥文件copy
    把slave1的公钥slave2的公钥添加到authorized_keys 并把authorized_keys 复制到分机上

    ssh slave1 ssh slave2 ssh master 进行验证互信关系

    四、启动hadoop集群
    cd /usr/local/src/hadoop-1.2.1/bin/
    ./hadoop namenode -format #初始化
    ./start-all.sh #启动
    jps #查看进程(每台机器查看)
    ./hadoop fs -put /etc/passwd / #往集群里写文件
    ./hadoop fs -ls / #查看集群里的文件

    If the copyright belongs to the longfei, please indicate the source!!!
  • 相关阅读:
    第一节,Django+Xadmin打造上线标准的在线教育平台—创建用户app,在models.py文件生成3张表,用户表、验证码表、轮播图表
    Tensorflow 错误:Unknown command line flag 'f'
    Python 多线程总结
    Git 强制拉取覆盖本地所有文件
    Hive常用函数 傻瓜学习笔记 附完整示例
    Linux 删除指定大小(范围)的文件
    Python 操作 HBase —— Trift Trift2 Happybase 安装使用
    梯度消失 梯度爆炸 梯度偏置 梯度饱和 梯度死亡 文献收藏
    Embedding 文献收藏
    深度学习在CTR预估中的应用 文献收藏
  • 原文地址:https://www.cnblogs.com/longfeiPHP/p/11350565.html
Copyright © 2011-2022 走看看