zoukankan      html  css  js  c++  java
  • HADOOP__PIG安装与配置

    PIG安装与配置

    前提

      已成功安装好Hadoop集群。

      详见:http://www.cnblogs.com/freeideas/archive/2013/04/16/3023287.html

      以下只在一个结点做,PIG可以直接调用整个集群。此处我选择了独立于其他节点的Server(CentOS)节点。

    安装要求:

      Server节点要求。

      ①已安装JDK。

      ②已有HADOOP目录,并且其中的maters,slaves文件已做好配置.

      (最好可以直接拷贝集群中一个节点的HADOOP目录)

      PIG安装是比较容易的,相对于其他项目而言。

    (一)下载解压PIG

      Pig下载路径,下载0.9.2(之前尝试了其他版本报错了:failed to create DataStorage尝试比较低的版本,

      详见:http://www.cnblogs.com/freeideas/archive/2013/04/22/3036690.html

    http://apache.dataguru.cn/pig/pig-0.9.2/pig-0.9.2.tar.gz

      将下载好的文件放到 /usr/hadoop/目录下并解压:

    tar -zxvf pig-0.9.2.tar.gz

    (二)配置PIG环境

      配置用户的环境变量:

    vi ~/.bash_profile

      添加如下内容:

    PATH=$PATH:/usr/hadoop/pig-0.9.2/bin:$HOME/bin
    HADOOP_HOME=/usr/hadoop

    export PATH
    export HADOOP_HOME

      为什么这么设置: 将PIG的bin目录添加到PATH中,可以直接在shell中敲入PIG命令进入程序,而非进入目录再执行。PIG在执行的时候会自动读取当前环境变量中的  HADOOP_HOME,从找到对应的HADOOP目录,也会读取JAVA_HOME来找到要使用的JAVA环境。
      注意:
      如果JDK没有在/etc/profile中export的话,请在此处做一次export(JAVA_HOME是PIG中必须的一个变量)。

    JAVA_HOME=/usr/jdk
    export JAVA_HOME

      做好配置之后:

    source ~/.bash_profile

      来执行这个文件,使刚配置好的环境变量生效

    (三)运行PIG

      在shell中:

    pig -x local

      进入本地模式

      之间键入:

    pig

      进入集群模式

  • 相关阅读:
    pycharm2017.3.7的安装
    SVN Working Copy xxx locked 并 cleanup失败之解
    Lua查找字符串注意
    Lua运算符
    Python操作Excel
    项目中碰到的Ajax相关的问题记录
    线程的相关概念
    val()用法和value的区别
    JSON数组对象和JSON字符串的转化,map和JSON对象之间的转化
    算法复杂度相关概念
  • 原文地址:https://www.cnblogs.com/freeideas/p/3036668.html
Copyright © 2011-2022 走看看