zoukankan      html  css  js  c++  java
  • 大数据之pig安装

    大数据之pig安装

    1.下载

      

    pig download

     

    2. 解压安装

    mapreduce模式安装:

    1:设置HADOOP_HOME,如果pig所在节点不是集群中的节点,那就需要把集群中使用的hadoop的安装包拷贝过来一份。

    export HADOOP_HOME=/usr/local/hadoop-2.6.0

    2:创建一个文件夹,cluster-conf,里面保存的是hadoop的配置文件,core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml,具体配置属性参考提供的配置文件

    export PIG_CLASSPATH=../cluster-conf

    export HADOOP_CONF_DIR=../cluster-conf

     

    download  4 files about hadoop for pig

    注意:如果在执行的过程中报错(右图),则需要在主节点启动job history server(因为pig在hadoop集群上执行任务之后需要解析执行日志才能知道任务是否执行成功。)

    sbin/mr-jobhistory-daemon.sh start historyserver

    (一定要在resourceManager主节点上运行)

    3.检测:

    pig

    进入:

    然后在指定hadoop 上的文件

    hello.text

    hello   you 
    hello   me

    运行:

    A= load ‘hdfs://hadoop11:9000/hello.txt’as (name:chararray,myname:chararray);

    dump A;

             最后显示统计结果。success

  • 相关阅读:
    PL/SQL 入门
    Nginx 安装和配置
    MySql 优化方案
    类加载器(ClassLoader)
    动态代理入门
    Servlet 3.0 介绍
    反射加强(一)
    Python(1)—is和==区别
    代码题(10)— 验证二叉搜索树、二叉搜索树的最近公共祖先
    代码题(9)— 二叉树的最大、最小深度、平衡二叉树
  • 原文地址:https://www.cnblogs.com/chaoren399/p/4774935.html
Copyright © 2011-2022 走看看