Spark小课堂Week5 Scala初探
Scala是java威力加强版。
对Java的改进
这里会结合StreamingContext.scala这个代码说明下对Java的改进方面。
- 方便测试方式，增加了可以指定位置的作用域。
- 成员变量声明，构造方法，get、set方法一体化。
- []表示泛型，不是<>
class StreamingContext private[streaming] (
sc_ : SparkContext,
cp_ : Checkpoint,
batchDur_ : Duration
) extends Logging
- case声明Java Bean，省掉new的操作
private[scheduler] sealed trait JobSchedulerEvent
private[scheduler] case class JobStarted(job: Job, startTime: Long) extends JobSchedulerEvent
- 用val控制声明周期，防止他人重新构造，已将所有基本类型对象化，所以val内容是可变的
- 提供类型推断，对于编译器可推断类型无需定义
private[streaming] val isCheckpointPresent = (cp_ != null)
- 会自动根据分支的最后一个逻辑返回，不需要return，可以表达式来定义逻辑
private[streaming] var checkpointDir: String = {
if (isCheckpointPresent) {
sc.setCheckpointDir(cp_.checkpointDir)
cp_.checkpointDir
} else {
null
}
}
- 用None替代null，由定义方来定义是否可能空指针情况，降低调用方的开发难度
private[streaming] val uiTab: Option[StreamingTab] =
if (conf.getBoolean("spark.ui.enabled", true)) {
Some(new StreamingTab(this))
} else {
None
}
作业
题目
在RDD.scala中没有sortByKey方法，为什么可以调用。
解析
Scala中有一个非常强大的隐式转换功能，可以实现方法的动态注入。
以下是范例代码。可以看到通过隐式转换方法，可以动态给Person类添加toCode这个方法。
在Spark源码中到处使用。
class Person(val name:String)
class Engineer(val name:String,val salary:Double){
def code = println("coding:" + name)
}
def toCode(p:Person){
p.code
}
implicit def personToEngineer(p:Person) : Engineer= {
new Engineer(p.name,0);
}
new Person("aa").code
关于
小课堂是在公司进行内部交流的一系列主题，偏基础，但是比较零散，持续更新中。