flink安装使用

flink下载

1.进入网址  http://mirrors.hust.edu.cn/apache/flink/flink-1.11.1/   下载对应的 flink-1.11.1-bin-scala_2.12.tgz 版本压缩包

2.使用xftp将压缩文件上传到 /opt/flink

3.进入到/opt/flink解压缩文件    tar -xzvf flink-1.11.1-bin-scala_2.12.tgz

flink启动

进入/opt/flink/flink-1.11.1/bin目录下    ./start-cluster.sh 启动集群

出现

Starting cluster.
Starting standalonesession daemon on host iZm5e2sy1ov103pbubkvlkZ.
Starting taskexecutor daemon on host iZm5e2sy1ov103pbubkvlkZ.

flink初体验

http://www.chenjiqiang.club:8081/#/job/running

flink初识wordcount

1.监听9000端口

nc -l 9000

-bash: nc: command not found

从提示信息中我们可以知道，是由于nc命令无法被找到
没有配置nc的命令

执行 yum install -y nc即可解决

2.执行flink自带的jar包验证

启动

./bin/flink run examples/streaming/WordCount.jar

查看日志

tail log/flink-*-taskexecutor-*.out

也可以通过正在运行的WEB_UI来监视群集的状态和正在运行的Job。

 flink再回首

1.使用命令行创建flink的job项目

mvn archetype:generate -DarchetypeGroupId=org.apache.flink  -DarchetypeArtifactId=flink-walkthrough-datastream-java  -DarchetypeVersion=1.11.0  -DgroupId=cn.we -DartifactId=cjq-flink  -Dversion=0.1  -Dpackage=cjq -DinteractiveMode=false

2.使用idea打开创建的cjq-flink项目

根据flink官方文档使用项目

java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/functions/source/SourceFunction

如果直接运行项目，会报这个错，解决方式是将pom.xml中的org.apache.flink和flink-clients依赖的<scope>provided</scope>去掉。

项目成功运行启动

未完待续。。。