zoukankan      html  css  js  c++  java
  • Flink快速入门--安装与示例运行

    file

    flink是一款开源的大数据流式处理框架,他可以同时批处理和流处理,具有容错性、高吞吐、低延迟等优势,本文简述flink在windows和linux中安装步骤,和示例程序的运行。

    首先要想运行Flink,我们需要下载并解压Flink的二进制包,下载地址如下:https://flink.apache.org/downloads.html

    file

    我们可以选择Flink与Scala结合版本,这里我们选择最新的1.9版本Apache Flink 1.9.0 for Scala 2.12进行下载。

    下载成功后,在windows系统中可以通过Windows的bat文件或者Cygwin来运行Flink。

    在linux系统中分为单机,集群和Hadoop等多种情况。

    通过Windows的bat文件运行

    首先启动cmd命令行窗口,进入flink文件夹,运行bin目录下的start-cluster.bat

    注意:运行flink需要java环境,请确保系统已经配置java环境变量。

    $ cd flink
    $ cd bin
    $ start-cluster.bat
    Starting a local cluster with one JobManager process and one TaskManager process.
    You can terminate the processes via CTRL-C in the spawned shell windows.
    Web interface by default on http://localhost:8081/.
    

    显示启动成功后,我们在浏览器访问 http://localhost:8081/
    可以看到flink的管理页面。

    通过Cygwin运行

    Cygwin是一个在windows平台上运行的类UNIX模拟环境,官网下载:http://cygwin.com/install.html

    安装成功后,启动Cygwin终端,运行start-cluster.sh脚本。

    $ cd flink
    $ bin/start-cluster.sh
    Starting cluster.
    

    显示启动成功后,我们在浏览器访问 http://localhost:8081/
    可以看到flink的管理页面。

    file

    单节点安装

    在Linux上单节点安装方式与cygwin一样,下载Apache Flink 1.9.0 for Scala 2.12,然后解压后只需要启动start-cluster.sh。

    集群安装

    集群安装分为以下几步:

    1、在每台机器上复制解压出来的flink目录。

    2、选择一个作为master节点,然后修改所有机器conf/flink-conf.yaml

    jobmanager.rpc.address = master主机名
    

    3、修改conf/slaves,将所有work节点写入

    work01
    work02
    

    4、在master上启动集群

    bin/start-cluster.sh
    

    安装在Hadoop

    我们可以选择让Flink运行在Yarn集群上。

    下载Flink for Hadoop的包

    保证 HADOOP_HOME已经正确设置即可

    启动 bin/yarn-session.sh

    运行flink示例程序

    批处理示例:

    提交flink的批处理examples程序:

    bin/flink run examples/batch/WordCount.jar
    

    这是flink提供的examples下的批处理例子程序,统计单词个数。

    $ bin/flink run examples/batch/WordCount.jar
    Starting execution of program
    Executing WordCount example with default input data set.
    Use --input to specify file input.
    Printing result to stdout. Use --output to specify output path.
    (a,5)
    (action,1)
    (after,1)
    (against,1)
    (all,2)
    (and,12)
    (arms,1)
    (arrows,1)
    (awry,1)
    (ay,1)
    
    

    得到结果,这里统计的是默认的数据集,可以通过--input --output指定输入输出。

    我们可以在页面中查看运行的情况:

    file

    流处理示例:

    启动nc服务器:

    nc -l 9000
    

    提交flink的批处理examples程序:

    bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000
    

    这是flink提供的examples下的流处理例子程序,接收socket数据传入,统计单词个数。

    在nc端写入单词

    $ nc -l 9000
    lorem ipsum
    ipsum ipsum ipsum
    bye
    

    输出在日志中

    $ tail -f log/flink-*-taskexecutor-*.out
    lorem : 1
    bye : 1
    ipsum : 4
    

    停止flink

    $ ./bin/stop-cluster.sh
    

    大数据实时处理的王者-Flink

    更多实时计算,Flink,Kafka等相关技术博文,欢迎关注实时流式计算

    file

  • 相关阅读:
    Docker实战--部署简单nodejs应用
    VMWare下ubuntu无法全屏的问题解决
    CentOS 7安装Docker
    修改maven本地仓库的默认地址
    spring cloud 集成 swagger2 构建Restful APIS 说明文档
    使用Redis的INCR、Hsetnx、Hincrby的命令生成序列号
    NetMQ(四): 推拉模式 Push-Pull
    NetMQ(三): 发布订阅模式 Publisher-Subscriber
    NetMQ(二): 请求响应模式 Request-Reply
    NetMQ(一):zeromq简介
  • 原文地址:https://www.cnblogs.com/tree1123/p/11423514.html
Copyright © 2011-2022 走看看