zoukankan      html  css  js  c++  java
  • 「笔记」「Hadoop」集群安装一些注意的点

    一、集群安装

    1、修改/etc/hosts
    #严重注意,主机名不要带下划线
    #得将127.0.0.1的记录注释掉
    2、修改IP
    3、注意SSH证书问题
    进入~/.ssh目录执行
    ssh-keygen -t  rsa
    ssh-copy-id -i ~/.ssh/id_rsa.pub  root@namenode
    4、slaves的配置
    5、访问http://hdp_xxx:50070查看信息


    相关配置

    #/etc/profile
    # Java Configuration
    export JAVA_HOME=/usr/java/jdk1.7.0_51
    export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
    export PATH=$JAVA_HOME/bin:$PATH

    # Hadoop configuration
    #export HADOOP_HOME=/usr/hadoop
    #export PATH=$HADOOP_HOME/bin:$PATH

    #hadoop-env.sh
    export JAVA_HOME=/usr/java/jdk1.7.0_51

    #core-site.xml
    #注意机器名
    <property>
    <name>fs.default.name</name>
    <value>hdfs://hdp_tpl:9000</value>
    </property>

    <property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp</value>
    </property>

    #hdfs-site.xml
    #属性名称注意单节点和集群有区别
    #注意DATA文件夹权限问题:一般要求755
    <name>dfs.namenode.name.dir</name>
    <name>dfs.datanode.data.dir</name>

    <property>
    <name>dfs.name.dir</name>
    <value>/usr/hadoop/dfs/name</value>
    </property>

    <property>
    <name>dfs.data.dir</name>
    <value>/usr/hadoop/dfs/data</value>
    </property>

    <property>
    <name>dfs.replication</name>
    <value>1</value>
    </property>

    #禁用HDFS的权限管理
    <property>
    <name>dfs.permissions</name>
    <value>false</value>
    </property>

    #mapred-site.xml
    #注意机器名
    <property>
    <name>mapred.job.tracker</name>
    <value>hdp_tpl:9001</value>
    </property>

    <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    </property>

    二、添加及删除DataNode

    添加DataNode
    1、复制其他DataNode机器配置到新DataNode,修改新DataNode的IP地址(重启网络)
    2、NameNode的hosts文件添加新DataNode信息,并复制到其他DataNode上
    3、修改NameNode的slaves文件,添加新DataNode信息
    4、DataNode上清除name及data文件夹内容
    6、启动DataNode及TaskTracker
    [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start datanode
    [root@slave-004 hadoop]# ./bin/hadoop-daemon.sh start tasktracker  
    7、做数据负载均衡
    [root@slave-004 hadoop]# ./bin/start-balancer.sh

    删除DataNode
    暂略

  • 相关阅读:
    显示数据库中的数据
    C# 替换去除HTML标记方法(正则表达式)
    aspx,ascx和ashx使用总结
    groupby用法
    C#的一个URL加载器,能处理编码、相对地址解析、GET/POST、HTML的include、页面重定向
    js调用WebService的例子
    跨站点的单点登录
    新安装的Centos7不能联网且ifconfig出现command not found
    virtualbox桥接网卡设置
    2012暑假Ajax学习笔记
  • 原文地址:https://www.cnblogs.com/AzikPhil/p/hadoop_notice.html
Copyright © 2011-2022 走看看