实时计算：flume+kafka+storm/sparkstreaming+redis/hbase
离线计算：flume/ftp/sqoop(获取数据)+hdfs(存储数据)+hive(数据仓库)+SparkSQL(进行数据离线计算)+sqoop+mysql/hbase/redis(计算后的数据存储)
Flume采集实现
1、在若干个服务器上部署agent节点，修改配置文件
2、启动agent节点，将采集到的数据汇聚到指定的HDFS目录中
使用pyspark进行spark-submit
实验环境：
1.pyspark 1.6.0
2.python 2.7
本次主要写的是用pyspark提交任务时，需要注意的地方及遇到的问题的解决。
Step 1. 提交python工程
在提交spark的时候，我们往往python工程是多个python文件，彼此之间有调用关系。
那如何提交python工程呢？
./bin/spark-submit –py-files XXXX.zip aaa.py即可
XXXX是你将你所有需要用到的python文件打包成一个zip文件
aaa是你的python文件的main函数所在的py文件。
Step 2. python 版本问题不一致
提交以后，我遇到了cannot different version python 2.6 in driver and python 2.7….
大概是这样的错误，是说不同节点的python版本不一致，导致的运行错误。
解决方法：
import os
os.environ['PYTHONPATH']='python2'
Step 3. 提交任务以后，遇到ascii编码问题
其实我们是想要utf-8默认运行python的，但是就算你在文件里指定了
#coding:utf-8
依然没用。
解决方法：
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
数据处理流程：
1.数据采集
Flume：web日志写入到HDFS
2.数据清洗
脏数据
Spark，Hive，MapReduce或者其他一些分布式计算框架，清洗完之后的数据可以存放在HDFS(Hive，Spark SQL)
3.数据处理
按照需求进行相应业务的统计和分析
Spark，Hive，MapReduce或者其他一些分布式计算框架
4.处理结果入库
结果可以存放到RDBMS，NoSQL，调用相应的API就可以实现。
5.数据的可视化
通过图形化展示的方式展现出来：饼图，柱状图，地图，折线图(ECharts，HUE，Zeppelin)
开发环境版本：
Anaconda2-4.2.0（Windows 64和Linux 64位）
pycharm-community-2016.2.3
Python-2.7.9
spark-1.6.1-bin-2.5.0-cdh5.3.6
hadoop-2.5.0-cdh5.3.6
hive-0.13.1-chd5.3.6