zoukankan      html  css  js  c++  java
  • 大数据(十)

    Pig是什么
            Hadoop上的数据流运行引擎(由Yahoo。开源)
                    利用HDFS存储数据
                    利用MapReduce处理数据
            使用Pig Latin语言表达数据流
                    Pig Latin是一种新的数据流语言
                    Pig将Pig Latin语句转化为MapReduce作业
                    Pig Latin比MapReduce程序更易编写
            直接产生动机:让MapReduce用起来更简单
                    与Hive一致

    Pig与Hive异同
            同样点
                    执行在Hadoop之上。
                    设计动机是为用户提供一种更简单的Hadoop上数据分析方式;
                    解决同样问题的两个工具(yahoo!vs facebook)。
            不同点
                    Hive要求待处理数据必须有Schema。而Pig则无此要求;
                    Hive有Server须要安装。Pig无Server不须要安装。
                    编程语言不同。SQL与Pig Latin
                            SQL:得到什么样的结果,Pig Latin:怎样处理数据
                            SQL:过程化语言。Pig Latin:数据流语言

    执行Pig Latin
            本地模式
                    pig_path/bin/pig –x local wordount.pig
            集群模式
                    PIG_CLASSPATH=hadoop_conf_dir pig_path/bin/pig wordcount.pig
            其它使用方式
                    pig -e fs –copyFromLocal local_path hdfs_path
                    pig hdfs://nn.mydomain.com:9020/myscripts/script.pig
                    pig –Dmapreduce.task.profile=true wordount.pig
                    pig –P myproperty.properties wordcount.pig

  • 相关阅读:
    你真的懂@ResponseBody和@RequestBody吗?
    Codeforces Beta Round #7 D. Palindrome Degree manacher算法+dp
    hihocoder #1032 : 最长回文子串 Manacher算法
    CSU 1808: 地铁 最短路
    UVALive 6912 Prime Switch 暴力枚举+贪心
    Codeforces Beta Round #9 (Div. 2 Only) D. How many trees? dp
    UVALive 6913 I Want That Cake 博弈+dp
    UVALive
    Codeforces Round #245 (Div. 1) B. Working out dp
    HDU 5834 Magic boy Bi Luo with his excited tree 树形dp
  • 原文地址:https://www.cnblogs.com/wgwyanfs/p/7273088.html
Copyright © 2011-2022 走看看