1.map reduce 计算模型
介绍：https://blog.csdn.net/v_july_v/article/details/6637014
关键流程图示意：
2.shuffle过程
介绍：https://www.zhihu.com/question/27593027
简单流程图：
2.spark使用感想
spark 用yarn安装参考：
https://blog.csdn.net/u010638969/article/details/51283216
spark编程感想--理解spark的RDD编程
快速的实现spark应用，可以从数据流入手，首先写一下输入和预期输出的数据格式，根据
算法一步一步推导从输入到输出的过程，上手是很快的，但是要理解分布式计算模型的精髓需要时间去沉淀。
spark编程感想--如何学习分布式计算模型
分布式计算模型和普通开发的本质区别
1.控制粒度不一样，spark是借用别人写好的框架，要自己尝试去以spark的视角来编写应用。
比如计算协同过滤中的相似度，如果是用2个item-id来根据自己的user_list动态的计算相似度，其实并不适合分布式计算
一是因为这样需要额外携带的冗余数据过多，二是计算过程慢。
用公式的角度出发，需要计算2个item-id对应user的交集和并集，交集可以用一个user生成的item-id pair,最后汇总获得。
并集可以用2个item-id对应的user数量之和 - 交集 算出。
2.不要以之前的经验先入为主，而是多想别的思路和方法，优雅的使用。
spark优化
理解spark应用的执行过程、DAG的构建和执行、使用print RDD.toDebugString()(python)来帮助验证。
优化关键点2个
1.减少无用步骤
比如减少reducebykey来达到减少stage的目的。
使用cache来达到减少RDD计算的目的。
2.调整参数来适配spark的最优处理
根据数据大小和分区数目来适配spark的最优处理方式。
Spark对比Flink
https://www.jianshu.com/p/e246e334d339
重要结论：
执行效率Flink比spark高，但是高不多
社区spark比flink要发展的好
3.YARN监控如何看
对应spark-submit命令如下
/usr/lib/spark/bin/spark-submit
--master yarn
--deploy-mode client
--name "dodng-xxx"
--queue default
--num-executors 6
--driver-memory 4g
--executor-memory 4g
--executor-cores 4
xxx.py `date +\%Y-\%m-\%d -d -39day` `date +\%Y-\%m-\%d -d -3day` `date +\%Y\%m\%d -d -0day`
1.可以根据node address 直接ssh登录上去看情况
ssh ng9a81a2a-core-instance-hz5sqddm-2.novalocal
猜测规律：
containers对应是3 + 2 + 2应该对应上么的1个driver和6个executer
1个executer配置占用4G内存，实际应该分配了12/2=6G内存，应该还有额外的内存要求。
2个executer和1个driver配置内存为4*3=12G内存，实际占用12G内存。
实战 + 优化经验:
1.不使用广播变量而用collect + global
item_freq = user_item.map(lambda x: (x[1][0], 1))
.reduceByKey(lambda x, y: x + y)
.collect()
global g_item_freq_d
2.coalesce减少写文件的并发量
3.使用yield+.repartition 增加并行度，结果提升了40倍以上.