zoukankan      html  css  js  c++  java
  • Spark函数式编程进阶

    函数式编程进阶

    1、函数和变量一样作为Scala语言的一等公民,函数可以直接复制给变量;

    2、函数更长用的方式是匿名函数,定义的时候只需要说明输入参数的类型和函数体即可,不需要名称,但是匿名函数赋值给一个变量(其实是val常量),Spark源码中大量存在这种语法;

    3、函数可以作为参数直接传递给函数,这极大地简化的编程语法;

    4、函数式编程一个非常强大的地方之一在于函数的返回值可以是函数,当函数的返回类型是函数的时候,这个时候就是表明Scala的函数是实现了闭包!

    Scala壁报的内幕是:Scala的函数背后是类和对象,所以,Scala的参数都做为了对象的成员!所以后续可以继续访问

    5、Currying,复杂的函数式编程中经常使用,可以维护变量在内存中的状态,且实现返回函数的链式功能,可以实现非常复杂的算法和逻辑;

    1)以前java的防暑是new出一个接口实例,并且在接口实例的同调方法callback中来实现业务逻辑,现在是直接把同调方法callback传递给我的函数,且在函数体中直接使用,这毫无疑问的简化代码的编写,提升了开发的效率;

    2)这种方式非常方便编写负责的业务逻辑和控制逻辑,对于图计算,计算机学习,深度学习等至关重要;

    函数作为函数的参数传递的编程方式是称之为高阶函数的编程方式,Spark源码和应用程序开发至少60%都是这种代码!

    object functionalProgramming{

    //1、函数和变量一样作为Scala语言的一等公民,函数可以直接复制给变量

    def mian(args:Array【String】);Unit={

    val hiData = hiBigData -

    hiDAta("Spark")

    val f = (name:String)=>println("Hi,"+name)

    f("Kafka")

    def getName(func:(String)=>Unit,name:String){

    func(name)

    }

    getName(f,"Scala")

    Array(1 to 10: *).map{(item:Int)=>2*item}.foreach{x=>println(x)}

    def funResult(message:String) = (name:String)=>println(message +":"+name)

    funcResult("Hello")("Java")

    val result=funcResult("Hello")

    result("Java")

    }

    def hiBIgData(name:String){

    println("Hi,"+name)

    }

     

     

     

     

    .

  • 相关阅读:
    Python学习笔记
    AC自动机跟随Kuangbing学习笔记
    【后缀数组】【poj2774】【 Long Long Message】
    【思路题】【多校第一场】【1001.OO’s Sequence】
    【求出所有最短路+最小割】【多校第一场】【G题】
    【后缀数组学习中】
    【关于字符串要补的题】
    49.运维6-ansible
    48.python&&django时区转化
    47.python脚本自定义token验证
  • 原文地址:https://www.cnblogs.com/yunfeioliver/p/7501111.html
Copyright © 2011-2022 走看看