《OD学spark》20160924scala基础

拓展：

Hadoop 3.0

NameNode HA

NameNode是Active

NameNode是Standby可以有多个

HBase

Cluster

单节点故障？

HBaster -> BackMaster

HRegionServer

WEBUI 60010

Spark 课程安排
分为两个部分：
第一部分：基础篇
SCALA：1天
SparkCore：2天 - MapReduce
SparkSQL：1天 - Hive Shark = Hive on Spark
关键，企业中必用的，必须掌握
SparkStreaming：1天 - Storm
DStream
企业实时数据统计分析
Spark 2.0
StructureStreaming
第二部分：项目篇
基于Spark交互式用户行为分析系统
三天
额外扩展：
Spark MLlib学习 1天

Spark：
加州大学伯克利分校AMPLab
AMP
A：算法
M：机器
P：人类

=============================================================
1、为什么学习SCALA
-1，Spark框架SCALA编程、Kafka
源码
-2，Spark编程
SCALA、Python、JAVA、R
细心：
Spark官方文档、讲义，Spark编程代码都是Python语言

databrick
金砖

JAVA
C阵营（C、C#、C++）
Python - Spark
火的

函数
没有放在类中
方法
放在类中


隐式转换
"偷龙转凤"

大数据框架，”helloworld"程序就WordCount
hadoop -> (hadoop, 1) -> (hadoop, list(11,1,1)) -> (hadoop, 14)

rdd.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_ + _)
-1,
line.toString().split(" ")

==========================================================
Spark 1.x
Scala 2.10.x 4
Spark 2.x
Scala 2.11.x 8

Scala 语言
交互式编程语言，Shell类似，交互式命令行
正是由于提供交互式命令行，所以使得Spark程序开发、测试，很方便

对于Scala语言来说，IDE工具
The Scala IDE (based on Eclipse),
支持不是很好，提示，编译语法
IntelliJ IDEA with the Scala plugin,
最多，支持很好
NetBeans IDE with the Scala plugin.

DELIMITED FIELDS TERMINATED BY ' '

DELIMITED FIELDS TERMINATED BY char [ESCAPED BY char]]

T => U
表示函数
确定一个方法的两个标准
-1,参数
个数、类型
-2,返回值
(Int, Int) => Int

def map(f: T => U): RDD ={

}

在JAVA中，循环来说，通常有两个关键字
break
跳出整个循环
continue
跳出当前的循环

回顾一下：
JAVA中的FOR循环
for(int index = 1 ; index ++ ; index <= 10){
println(index)
}

for(index <- 1 to 10){
println(index)
}

apply()方法