zoukankan      html  css  js  c++  java
  • flink的Standalone集群安装

    1:上传安装包到linux系统

    使用rz命令

    2:解压

    tar –zxvf flink-1.5.0-bin-hadoop24-scala_2.11.tgz

    3:修改配置文件

    vim conf/flink-conf.yaml

    jobmanager.rpc.address: hadoop01
    jobmanager.rpc.port: 6123
    jobmanager.heap.mb: 1024
    taskmanager.heap.mb: 1024
    taskmanager.numberOfTaskSlots: 2
    taskmanager.memory.preallocate: false
    parallelism.default: 1
    jobmanager.web.port: 8081
    taskmanager.tmp.dirs: /opt/cdh/flink-1.5.0/tmp

    配置参数解释:

    jobmanager.rpc.address: localhost   JobManager的外部地址,它是分布式系统的主/协调器(DEFAULT:localhost)设置成你master节点的IP地址
    jobmanager.rpc.port: 6123   JobManager的端口号(DEFAULT:6123)
    jobmanager.heap.mb: 1024         JobManager的默认JVM堆大小(以兆字节为单位)
    taskmanager.heap.mb: 1024       用于TaskManagers的JVM堆大小(以兆字节为单位)
    taskmanager.numberOfTaskSlots: 1    每台机器可用的CPU数量(默认值:1)
    taskmanager.memory.preallocate: false   是否进行预分配内存,默认不进行预分配,这样在我们不使用flink集群时候不会占用集群资源
    parallelism.default: 1      指定程序的默认并行度
    jobmanager.web.port: 8081   JobManager的Web界面的端口(默认:8081)
    taskmanager.tmp.dirs:临时文件的目录

    4:启动flink集群

    方式一:

    添加一个JobManager

    bin/jobmanager.sh ((start|start-foreground) cluster)|stop|stop-all

    添加一个TaskManager

    bin/taskmanager.sh start|start-foreground|stop|stop-all

     方式二:

    bin/start-cluster.sh
    
    bin/stop-cluster.sh

    运行测试任务

    bin/flink run /home/angel/flink-1.5.0/examples/batch/WordCount.jar --input /root/zookeeper.out --output /home/angel/flink_data

     

  • 相关阅读:
    C#对象深度克隆(转)
    .Net Core 图片文件上传下载(转)
    事件总线(Event Bus)知多少(转)
    深入理解C#:编程技巧总结(一)(转)
    asp.net core源码飘香:Configuration组件(转)
    asp.net core源码飘香:Logging组件(转)
    基于C#.NET的高端智能化网络爬虫(下)(转)
    基于C#.NET的高端智能化网络爬虫(转)
    30分钟掌握 C#7(转)
    30分钟掌握 C#6(转)
  • 原文地址:https://www.cnblogs.com/niutao/p/10548251.html
Copyright © 2011-2022 走看看