zoukankan      html  css  js  c++  java
  • Hadoop全分布模式操作

    http://blog.csdn.net/wangloveall/article/details/20767161

    摘要:介绍Hadoop全分布模式操作,实现真正意义上的集群架构。

    关键词:Hadoop  全分布模式  文件配置

    利用Hadoop解决大数据问题时,我们是用全分布模式来操作Hadoop。

    如何基于全分布模式来操作Hadoop,构建Hadoop集群呢?具体步骤如下。

    第一步:配置hosts文件。

    执行命令: vi  /etc/hosts,修改所有的节点,使得彼此之间都能把主机名解析为ip,即实现主机名与ip的绑定。

    第二步:建立Hadoop运行账号

    在所有节点上都建立运行Hadoop的账号,建议不要使用root账号,因为其权限最大,有时会带来意想不到的麻烦。

    第三步:配置ssh,实现免密码登录

    针对每个节点都要进行相同操作

    首先,检查是否安装了ssh

    依次执行命令:which ssh     

                which  sshd

                which ssh-keygen

    其次,生成ssh密钥对

    执行命令: ssh-keygen  -r rsa

    最后,分发ssh公钥

    把各个节点的authorized_keys的内容互相拷贝加入到对方的此文件中

    第四步:下载并解压Hadoop安装包

    第五步:配置namenode,修改hdfs-site.xml文件

    第六步:配置hadoop-env.sh

    说明:以上三步配置可以参照伪分布模式操作Hadoop的配置

    第七步:配置masters和slaves文件

    第八步:向各节点复制Hadoop

    第九步:格式化namenode,启动Hadoop

    鉴于作者实验环境和资源有限,目前是基于伪分布模式操作Hadoop。因此,上述关于Hadoop全分布模式的操作,作者目前还没有试验过,仅是通过查阅相关文档和资料,进行的一个步骤归总。若有问题或不足,欢迎读者指正。

    Source:

    http://www.wangluqing.com/2014/02/hadoop-clustermodel-operation/

    http://hadoop.apache.org/docs/r1.2.1/cluster_setup.html

    3  http://hadoop.apache.org/docs/r1.0.4/cn/cluster_setup.html

    4  炼数成金之《Hadoop数据分析平台》课程的第二课,实施Hadoop集群

  • 相关阅读:
    连通块问题
    线性数据结构
    NOIP2018总结
    原码反码补码详解
    一些常用的算法技巧总结
    骗分导论
    模板
    模板
    AcWing
    AcWing
  • 原文地址:https://www.cnblogs.com/ExMan/p/3716731.html
Copyright © 2011-2022 走看看