zoukankan      html  css  js  c++  java
  • Hadoop2.3.0 64bit小集群搭建

    YARN的最新版修正了之前的不少bug,但是要搭建64位的平台环境,还是需要从source文件编译,经过一番实践学到些经验,大致给个提纲总结,详细搭建步骤可以网上搜索或咨询作者。

    编译还是不编译Hadoop取决于应用的平台和环境,Hadoop只提供了32bit的包和source文件,如果在64bit环境下就得自己编译(当然也可以下载非官方已经编译好的tar包)。编译环境,需要的工具有Java, maven, ant, protocol buffers, findbugs,当然执行编译需要cmake,gcc等等传统编译支持。安装这些,以及配置相应环境需要些细心和调试,冗繁但并不难。编译好的64位hadoop2.3.0大概在一百多M,有了这我们就可以开始准备安装YARN平台。

    首先要明确的是,我们有一台master机器,和n台slave机器,分布式系统的模式,一台主控多台分工,那么在master和slave上都分别要安装好我们编译的64位hadoop2.3.0,很琐碎但也很重要的一点是每台机器都要安装并配置好Java环境。更为重要的是,配置好hadoop的环境,这里面包括两点,一个是hadoop的环境变量,一个是hadoop的文件目录。目录是要建立好大数据的存放地。环境变量有两方面,一是系统环境里的path等等,一是hadoop本身的配置文件core-site.html、yarn等几个文件。

    配置好这些后,在mater上开启namenode, resource manager, proxyserver, historyserver,在slaves上开启datanode, nodemanager,然后就是安装各种各样所需的数据处理工具了,如pig, mahout等等。

    提纲携领的简介,具体的操作步骤需要多尝试,不断锻炼升级:)网上有不少文章,但有些有坑大家要多加留意,hadoop更新还是蛮快的,用0.20的方法装2.3是肯定不行的,即便很多2.3的文章,里面也是忘记了修改过去的操作步骤。

  • 相关阅读:
    在Ajax中将数组转换成字符串(0517-am)
    Json,Ajax(0516)
    JQUERY的应用
    php 之 PDO数据访问抽象层(0513)
    php 之 房屋租赁练习(0509)
    MySQL 高级查询
    MySQL简单查询
    MySQL语句
    php 之 查询 投票练习(0508)
    linux查看java jdk jre安装路径和设置环境变量
  • 原文地址:https://www.cnblogs.com/leoel/p/3589599.html
Copyright © 2011-2022 走看看