zoukankan      html  css  js  c++  java
  • 大数据运维(38)Flink 1.11.1部署安装

    安装Flink之前先安装hadoop集群。

    Flink下载:

    https://flink.apache.org/downloads.html
    https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.11.1/flink-1.11.1-bin-scala_2.11.tgz

    解压安装:

    tar -xf flink-1.11.1-bin-scala_2.11.tgz -C /usr/local/
    cd /usr/local/
    ln -sv flink-1.11.1/ flink

    环境变量:

    cat > /etc/profile.d/flink.sh <<EOF
    export FLINK_HOME=/usr/local/flink
    export PATH=$PATH:$FLINK_HOME/bin
    EOF
    . /etc/profile.d/flink.sh

    普通用户的环境变量:

    cat >> ~/.bashrc <<EOF
    export FLINK_HOME=/usr/local/flink
    export PATH=$PATH:$FLINK_HOME/bin
    EOF
    . ~/.bashrc

    修改配置:

    cd /usr/local/flink/conf
    vim flink-conf.yaml
    jobmanager.rpc.address: hadoop-master

    配置master节点:

    cat > masters <<EOF
    hadoop-master
    EOF

    配置worker节点:master节点也可以作为worker节点

    cat > workers <<EOF
    hadoop-master
    hadoop-node1
    hadoop-node2
    EOF

    复制配置文件到worker节点:

    scp ./* root@hadoop-node1:/usr/local/flink/conf
    scp ./* root@hadoop-node2:/usr/local/flink/conf

    修改属组属主:

    chown -R hadoop.hadoop /usr/local/flink/ /usr/local/flink

    启动集群:

    start-cluster.sh

    查看运行的进程:master节点。

    ~]$ jps
    26801 TaskManagerRunner
    26455 StandaloneSessionClusterEntrypoint
    ...

    worker节点:

    ~]$ jps
    TaskManagerRunner
    ...

    关闭集群:

    stop-cluster.sh


    拓展集群:向正在运行的集群中添加JobManager、TaskManager

    bin/jobmanager.sh ((start|start-foreground) [host] [webui-port])|stop|stop-all
    bin/taskmanager.sh start|start-foreground|stop|stop-all

    web页面:

    http://192.168.0.54:8081/#/overview

    image.png

    作者:大码王

    -------------------------------------------

    个性签名:独学而无友,则孤陋而寡闻。做一个灵魂有趣的人!

    如果觉得这篇文章对你有小小的帮助的话,记得在右下角点个“推荐”哦,博主在此感谢!

    万水千山总是情,打赏一分行不行,所以如果你心情还比较高兴,也是可以扫码打赏博主,哈哈哈(っ•?ω•?)っ???!

  • 相关阅读:
    初学java之触发响应事件举例子
    初学java之(盒子分布)
    java(课程设计之记事本界面部分代码公布)
    HDUOJ---1236 排名(浙大考研题)
    HDUOJ----1234 开门人和关门人(浙江大学考研题)
    HDUOJ----2571(命运)(简单动态规划)
    初学java之面板布局的控制
    初学java之常用组件
    初学java之触发响应事件
    课程设计(部分代码)之java版(记事本)
  • 原文地址:https://www.cnblogs.com/huanghanyu/p/13745931.html
Copyright © 2011-2022 走看看