一、standalone模式
1、上传flink到cdh01节点,并解压
tar -zxvf flink-1.10.0-bin-scala_2.11.tgz -C /opt/module
2、修改配置文件
cd /opt/module/flink-1.10.0/conf/
vim flink-conf.yaml
修改一下下面的几个参数,我这内存比较多,直接加了个0:
修改slaves文件:
cdh01
cdh02
cdh03
修改masters文件:
cdh01:8081
3、分发到其它两台节点
scp -r flink-1.10.0/ root@cdh02:`pwd`
scp -r flink-1.10.0/ root@cdh03:`pwd`
4、启动:
[root@cdh01 bin] ./start-cluster.sh
在cdh01 jps
,有两个进程
86721 TaskManagerRunner
86368 StandaloneSessionClusterEntrypoint
5、访问webui:
http://192.168.66.11:8081/#/overview
6、使用webui提交程序
先打包:
点击add New:
上传之后的效果:
在cdh01启动netcat:
nc -lk 7777
双击jar包名称并且填写主类:
点击提交任务之后的效果:
上面的图有两条任务链
输入数据流:
那么在哪里看 结果呢?
点击最后一个任务链:
可知它在cdh01,我的ip是11结尾:
点进去即可找到结果输出:
二、flink并行度和slot
- slot是静态的概念,是指taskManager具有的并发执行能力
- parallelism是动态的概念,是指应用 程序实际使用的并发能力
建议slot的数量和CPU的核数保持一致
一个slot就是一个线程
并行度可以在四个层面进行设置:
- 算子层面
- 执行环境层面
- 客户端层面
- 系统层面