在大数据非常流行的今天，每个行业都在谈论大数据，每个公司（互联网公司，传统企业，金融行业等）都在讨论大数据。高层管理者利用大数据来进行决策；数据科学家利用大数据来进行业务创新；程序员利用大数据来完成项目或者产品。那么，作为大数据工程师需要掌握哪些知识呢？
其中Hadoop作为大数据处理的平台，凭借着出色的处理能力及大量的开源框架，越来越多地被大型公司采用，几乎成为了大数据的代名词。下面主要展示了Hadoop的生态圈。
每一个component都是一项技术，值得深入研究。基于一些性能的考虑，MapReduce逐渐地被Spark所取代。下面展示了Spark的生态系统。
参考资料：
HDFS；