zoukankan      html  css  js  c++  java
  • Erlang里实现MapReduce

    参考: http://weblambdazero.blogspot.com/2008/08/mapreduce-in-erlang.html
    MapReduce的主要原理是将一个数据集上的计算分发到许多单独的进程上(map),然后收集它们的结果(reduce)。

    在Erlang里实现MapReduce非常细节也十分简单,例如Erlang的作者Joe Armstrong发表了一段代码来表示MapReduce版本的Erlang标准lists:map/2方法:
    pmap.erl
    Java代码 复制代码 收藏代码
    1. -module(pmap).
    2. -export([pmap/2]).
    3. pmap(F, L) ->
    4. S = self(),
    5. Pids = lists:map(fun(I) ->
    6. spawn(fun() -> do_fun(S, F, I) end)
    7. end, L),
    8. gather(Pids).
    9. gather([H|T]) ->
    10. receive
    11. {H, Result} -> [Result|gather(T)]
    12. end;
    13. gather([]) ->
    14. [].
    15. do_fun(Parent, F, I) ->
    16. Parent ! {self(), (catch F(I))}.

    pmap的原理也很简单,对List的每项元素的Fun调用都spawn一个process来实际处理,然后再调用gather来收集结果。

    如此简洁的代码就实现了基本的MapReduce,不得不服Erlang!

    下面是一个fib的示例调用:
    fib.erl
    Java代码 复制代码 收藏代码
    1. -module(fib).
    2. -export([fib/1]).
    3. fib(0) -> 0;
    4. fib(1) -> 1;
    5. fib(N) when N > 1 -> fib(N-1) + fib(N-2).


    编译好之后比较一下lists:map/2和pmap:pmap/2的执行效率:
    Java代码 复制代码 收藏代码
    1. Eshell > L = lists:seq(0,35).
    2. Eshell > lists:map(fun(X) -> fib:fib(X) end, L).
    3. Eshell > pmap:pmap(fun(X) -> fib:fib(X) end, L).

    测试结果lists:map执行时间大概4s,pmap:pmap执行时间大概2s,节约了一半的时间,呵呵。
  • 相关阅读:
    javascript 的继承实例
    [转载]编写高性能js
    弹出菜单
    xml xpath dta笔记
    jquery 学习笔记
    公用的css
    谷歌主页动画效果——利用视距暂留原理
    javascript 新知识
    ie6/7 bug大全
    javascript 原生实现 jquery live/delegate
  • 原文地址:https://www.cnblogs.com/xiayong123/p/3717068.html
Copyright © 2011-2022 走看看