zoukankan      html  css  js  c++  java
  • MapReduce 与函数式编程

    MapReduce 与函数式编程

    MapReduce 的抽象受到LIsp和其他函数式语言你中的map和reduce原语的启发。map和reduce(fold)函数都是属于在函数式编程语言中的高阶函数。map函数的功能是接受一个列表list以及一个函数,将这个函数作用于这个列表中的所有成员,并返回所得结果。例如,下述函数将括号中的三个数每个加一:

    map(+1)[1,2,3]

    这个表达式的输出结果是[2,3,4]

    而fold函数的功能则是接收一个列表、一个初始值以及一个函数,将该函数作为特定的组合方式,将其递归地应用于列表的所有成员,并返回最终结果,比如,下述函数计算0+1+2+3的和:

    fold(+)0[1,2,3]

    其具体的操作流程是(((0+1)+2)+3),并最终返回其总和。同样,也可以用fold求一个列表的所有元素之积:

    fold(*)1[1,2,3]

    还继续用上面统计单词次数的例子,MapReduce计算模型里的map函数实际上相当于下述函数式编程语言的语句:

    map(f)[<k1,v1>,<k2,v2>,<k3,v3>,...]

    其中f为用户实现的mapper函数里的操作,所以我们可以看出,它本质上就是函数式编程中的map函数合成的操作。

    让我们用Haskell的例子说明reduce函数,其功能就是分别求若干个数组中数字的积:

    Prelude> let a=[[1,2,3],[4,5,6],[7,8,9],[10,11,12]]
    Prelude> map(foldr(*)1)a
    [6,120,504,1320]

    作为类比,可以把MapReduce计算模型里的reduce抽象成下述形式,根据键将键值对分组,然后分别计算:

    let Internediate=[[<k1,v1>,<k1,v2>,<k1,v3>...],[<k2,v1>,<k2,v2>,<k2,v3>...]...]
    map(reduce(f)[])Intermediate

    只不过这里,map步骤是由partitioner来实现分发不同键组的动作,而实际上对于每一个reducer来说,它的工作方式正像是函数式编程里的reducer一样,对每一个键值组采用用户写的f作为特定的组合方式。

    综上所述,函数式语言与Hadoop这类系统中的map和reduce函数并没有本质区别。作为计算模型而言,MapReduce实际上就是函数式编程语言中的map和reduce函数的并行化拓展。另外,我们可以从MapReduce计算模型身上处处体会到函数式编程的哲学原理,即把数据抽象作为一个流来进行操作,而显然这种抽象也正是并行化的基础。

    从抽象的观点看,一个流也就是一个序列。流处理使我们可以模拟一些包含状态的系统,但却不需要利用复制或者变动数据。这一情况会产生一些重要的结果,既有理论的也有实际的。因为我们可以构造出一些模型,它们能避免由于引进赋值而带来的内在缺陷。但是,流框架也造成了它自己的困难。

  • 相关阅读:
    第一次冲刺02
    第一次冲刺01
    Android源码分析(十四)PackageManagerService服务分析
    Android源码分析(十三)ActivityManagerService服务分析
    Android源码分析(十二)ServiceManager服务分析
    Serializable和Parcelable之序列化
    ViewPager 相关使用
    AIDL介绍以及简单使用
    Android 四大组件 (五) 第五大组件
    Android 源码分析(十一) 事件传递机制
  • 原文地址:https://www.cnblogs.com/born2run/p/9581389.html
Copyright © 2011-2022 走看看