zoukankan      html  css  js  c++  java
  • flink的Standalone集群安装

    1:上传安装包到linux系统

    使用rz命令

    2:解压

    tar –zxvf flink-1.5.0-bin-hadoop24-scala_2.11.tgz

    3:修改配置文件

    vim conf/flink-conf.yaml

    jobmanager.rpc.address: hadoop01
    jobmanager.rpc.port: 6123
    jobmanager.heap.mb: 1024
    taskmanager.heap.mb: 1024
    taskmanager.numberOfTaskSlots: 2
    taskmanager.memory.preallocate: false
    parallelism.default: 1
    jobmanager.web.port: 8081
    taskmanager.tmp.dirs: /opt/cdh/flink-1.5.0/tmp

    配置参数解释:

    jobmanager.rpc.address: localhost   JobManager的外部地址,它是分布式系统的主/协调器(DEFAULT:localhost)设置成你master节点的IP地址
    jobmanager.rpc.port: 6123   JobManager的端口号(DEFAULT:6123)
    jobmanager.heap.mb: 1024         JobManager的默认JVM堆大小(以兆字节为单位)
    taskmanager.heap.mb: 1024       用于TaskManagers的JVM堆大小(以兆字节为单位)
    taskmanager.numberOfTaskSlots: 1    每台机器可用的CPU数量(默认值:1)
    taskmanager.memory.preallocate: false   是否进行预分配内存,默认不进行预分配,这样在我们不使用flink集群时候不会占用集群资源
    parallelism.default: 1      指定程序的默认并行度
    jobmanager.web.port: 8081   JobManager的Web界面的端口(默认:8081)
    taskmanager.tmp.dirs:临时文件的目录

    4:启动flink集群

    方式一:

    添加一个JobManager

    bin/jobmanager.sh ((start|start-foreground) cluster)|stop|stop-all

    添加一个TaskManager

    bin/taskmanager.sh start|start-foreground|stop|stop-all

     方式二:

    bin/start-cluster.sh
    
    bin/stop-cluster.sh

    运行测试任务

    bin/flink run /home/angel/flink-1.5.0/examples/batch/WordCount.jar --input /root/zookeeper.out --output /home/angel/flink_data

     

  • 相关阅读:
    【R】爬虫案例
    [R] 保存pheatmap图片对象到文件
    [R] 添加误差棒的分组折线图:geom_path: Each group consists of only one observation. Do you need to adjust the...
    [R] read.table/read.delim读入数据行数变少?
    [R] cbind和filter函数的坑
    [R]在dplyr函数的基础上编写函数(3)tidyeval
    [R]在dplyr基础上编写函数(2)substitute和quote
    30个Java知识点
    Java的30个知识点
    40个知识点
  • 原文地址:https://www.cnblogs.com/niutao/p/10548251.html
Copyright © 2011-2022 走看看