Pig latin基础

pig的两种运行模式，local模式，mapreduce模式

local模式下，pig只能访问本地一台；在mapreduce模式下，pig可以访问一个hadoop集群和hdfs的安装位置。这时，pig将自动对这个集群进行分配和回收。因为pig系统可以自动对mapreduce程序进行优化，所以当用户使用pig latin编程时，不必关系程序的运行效率，pig系统会自动对程序进行优化。

pig的local模式以及mapreduce模式都是有三种运行模式：Grunt shell方式，脚本文件方式，嵌入式程序方式

mapreduce模式下：

1 .grunt shell 方式

[root@host pig-0.17.0]# pig -x mapreduce
18/06/15 09:40:34 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL
18/06/15 09:40:34 INFO pig.ExecTypeProvider: Trying ExecType : MAPREDUCE
18/06/15 09:40:34 INFO pig.ExecTypeProvider: Picked MAPREDUCE as the ExecType
2018-06-15 09:40:34,951 [main] INFO  org.apache.pig.Main - Apache Pig version 0.17.0 (r1797386) compiled Jun 02 2017, 15:41:58
2018-06-15 09:40:34,951 [main] INFO  org.apache.pig.Main - Logging error messages to: /root/pig/pig-0.17.0/pig_1529026834950.log
2018-06-15 09:40:34,971 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /root/.pigbootup not found
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/hadoop/hadoop-2.7.4/share/hadoop/common/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/hbase-1.4.4/lib/slf4j-log4j12-1.7.10.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/hive/apache-hive-2.1.1/lib/log4j-slf4j-impl-2.4.1.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.impl.Log4jLoggerFactory]
2018-06-15 09:40:35,586 [main] INFO  org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address
2018-06-15 09:40:35,586 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://localhost:9000
2018-06-15 09:40:36,347 [main] INFO  org.apache.pig.PigServer - Pig Script ID for the session: PIG-default-cb6cead5-f22f-4960-bce7-5f44cdb722ec
2018-06-15 09:40:36,347 [main] WARN  org.apache.pig.PigServer - ATS is disabled since yarn.timeline-service.enabled set to false
grunt>

2 .脚本文件方式

 pig -x mapreduce script.pig

3.spark模式

pig -x spark id.pig

pig latin语言

与数据库操作语言类似，但更侧重于对数据的分析查询，而不是对数据进行修改删除等操作，运行在hadoop分布式平台上，能够在短时间内处理海量数据，如处理日志文件，处理大型数据库文件， 处理WEB数据等。

pigLatin的操作：通过对关系进行处理产生另外一组关系（适用于除load ,store以外的所有操作，load和store分别执行从文件系统的读取和写入操作）。

pig latin语句一条语句可以跨越多行，但是必须以半角的分号结束。

通常按照下面的流程编写语句：

1.通过load语句从文件系统读取数据

2.通过一系列的转换语句对数据进行处理

3通过store语句把处理结果输出到文件系统，或者使用一条dump语句把处理结果输出到屏幕上。

Pig Latin - 数据模型

Pig的数据模型是完全嵌套的。Relation是Pig Latin数据模型的最外层结构。它是一个包

• 包是元组的集合。
• 元组是有序的field(字段)集。
• field(字段)是一段数据。

Pig Latin - 语句

在使用Pig Latin处理数据时，语句是基本结构。

• 这些语句使用关系（relation），它们包括表达式（expression）和模式（schema）。

• 每个语句以分号（;）结尾。

• 我们将使用Pig Latin提供的运算符通过语句执行各种操作。

• 除了LOAD和STORE，在执行所有其他操作时，Pig Latin语句采用关系作为输入，并产生另一个关系作为输出。

• 只要在Grunt shell中输入 Load 语句，就会执行语义检查。要查看模式的内容，需要使用 Dump 运算符。只有在执行 dump 操作后，才会执行将数据加载到文件系统的MapReduce作业。

Pig Latin - 数据类型

序号	数据类型	说明＆示例
1	int	表示有符号的32位整数。 示例:8
2	long	表示有符号的64位整数。 示例:5L
3	float	表示有符号的32位浮点。 示例:5.5F
4	double	表示64位浮点。 示例:10.5
5	chararray	表示Unicode UTF-8格式的字符数组（字符串）。 示例:‘w3cschool’
6	Bytearray	表示字节数组（blob）。
7	Boolean	表示布尔值。 示例:true / false。
8	Datetime	表示日期时间。 示例:1970-01-01T00:00:00.000 + 00:00
9	Biginteger	表示Java BigInteger。 示例:60708090709
10	Bigdecimal	表示Java BigDecimal 示例:185.98376256272893883
复杂类型
11	Tuple	元组是有序的字段集。 示例:（raja,30）
12	Bag	包是元组的集合。 示例:{（raju,30）,（Mohhammad,45）}
13	Map	map是一组键值对。 示例:['name'＃'Raju','age'＃30]

Pig Latin - 算术运算符

运算符	描述	示例
+	加 - 运算符的两侧的值相加	a+b将得出30
−	减 - 从运算符左边的数中减去右边的数	a-b将得出-10
*	乘 - 运算符两侧的值相乘	a*b将得出200
/	除 - 用运算符左边的数除右边的数	b / a将得出2
%	余数 - 用运算符右边的数除左边的数并返回余数	b％a将得出0
？ :	Bincond - 评估布尔运算符。它有三个操作数，如下所示。 变量 x =（expression）？value1 （如果为true）:value2（如果为false）。	b =（a == 1）？ 20:30; 如果a = 1，则b的值为20。 如果a！= 1，则b的值为30。
CASE WHEN THEN ELSE END	Case - case运算符等效于嵌套的bincond运算符。	CASE f2 ％ 2 WHEN  0 THEN 'even' WHEN  1 THEN 'odd' END

Pig Latin - 比较运算符

下表描述了Pig Latin的比较运算符。

运算符	描述	示例
==	等于 - 检查两个数的值是否相等；如果是，则条件变为true。	（a = b）不为true。
!=	不等于 - 检查两个数的值是否相等。如果值不相等，则条件为true。	（a！= b）为true。
>	大于 - 检查左边数的值是否大于右边数的值。 如果是，则条件变为true。	（a> b）不为true。
<	小于 - 检查左边数的值是否小于右边数的值。 如果是，则条件变为true。	（a<b）为true。
>=	大于或等于 - 检查左边数的值是否大于或等于右边数的值。如果是，则条件变为true。	（a>=b）不为true。
<=	小于或等于 - 检查左边数的值是否小于或等于右边数的值。如果是，则条件变为true。	（a<=b）为true。
matches	模式匹配 - 检查左侧的字符串是否与右侧的常量匹配。	f1 matches '.* tutorial.*'

Pig Latin - 类型结构运算符

下表描述了Pig Latin的类型结构运算符。

运算符	描述	示例
()	元组构造函数运算符 - 此运算符用于构建元组。	（Raju,30）
{}	包构造函数运算符 - 此运算符用于构造包。	{（Raju,30）,（Mohammad,45）}
[]	映射构造函数运算符 - 此运算符用于构造一个映射。	[name＃Raja,age＃30]

Pig Latin - 关系运算符

下表描述了Pig Latin的关系运算符。

运算符	描述
加载和存储
LOAD	将数据从文件系统（local/ HDFS）加载到关系中。
STORE	将数据从文件系统（local/ HDFS）存储到关系中。
过滤
FILTER	从关系中删除不需要的行。
DISTINCT	从关系中删除重复行。
FOREACH，GENERATE	基于数据列生成数据转换。
STREAM	使用外部程序转换关系。
分组和连接
JOIN	连接两个或多个关系。
COGROUP	将数据分组为两个或多个关系。
GROUP	在单个关系中对数据进行分组。
CROSS	创建两个或多个关系的向量积。
排序
ORDER	基于一个或多个字段（升序或降序）按排序排列关系。
LIMIT	从关系中获取有限数量的元组。
合并和拆分
UNION	将两个或多个关系合并为单个关系。
SPLIT	将单个关系拆分为两个或多个关系。
诊断运算符
DUMP	在控制台上打印关系的内容。
DESCRIBE	描述关系的模式。
EXPLAIN	查看逻辑，物理或MapReduce执行计划以计算关系。
ILLUSTRATE	查看一系列语句的分步执行。

 源自：https://www.w3cschool.cn/apache_pig/apache_pig_reading_data.html