zoukankan      html  css  js  c++  java
  • flink的Standalone集群安装

    1:上传安装包到linux系统

    使用rz命令

    2:解压

    tar –zxvf flink-1.5.0-bin-hadoop24-scala_2.11.tgz

    3:修改配置文件

    vim conf/flink-conf.yaml

    jobmanager.rpc.address: hadoop01
    jobmanager.rpc.port: 6123
    jobmanager.heap.mb: 1024
    taskmanager.heap.mb: 1024
    taskmanager.numberOfTaskSlots: 2
    taskmanager.memory.preallocate: false
    parallelism.default: 1
    jobmanager.web.port: 8081
    taskmanager.tmp.dirs: /opt/cdh/flink-1.5.0/tmp

    配置参数解释:

    jobmanager.rpc.address: localhost   JobManager的外部地址,它是分布式系统的主/协调器(DEFAULT:localhost)设置成你master节点的IP地址
    jobmanager.rpc.port: 6123   JobManager的端口号(DEFAULT:6123)
    jobmanager.heap.mb: 1024         JobManager的默认JVM堆大小(以兆字节为单位)
    taskmanager.heap.mb: 1024       用于TaskManagers的JVM堆大小(以兆字节为单位)
    taskmanager.numberOfTaskSlots: 1    每台机器可用的CPU数量(默认值:1)
    taskmanager.memory.preallocate: false   是否进行预分配内存,默认不进行预分配,这样在我们不使用flink集群时候不会占用集群资源
    parallelism.default: 1      指定程序的默认并行度
    jobmanager.web.port: 8081   JobManager的Web界面的端口(默认:8081)
    taskmanager.tmp.dirs:临时文件的目录

    4:启动flink集群

    方式一:

    添加一个JobManager

    bin/jobmanager.sh ((start|start-foreground) cluster)|stop|stop-all

    添加一个TaskManager

    bin/taskmanager.sh start|start-foreground|stop|stop-all

     方式二:

    bin/start-cluster.sh
    
    bin/stop-cluster.sh

    运行测试任务

    bin/flink run /home/angel/flink-1.5.0/examples/batch/WordCount.jar --input /root/zookeeper.out --output /home/angel/flink_data

     

  • 相关阅读:
    JNI实例(含代码)
    sizeof()小结
    【转】C++ 关键字——friend
    curl资料小结
    【Curl (libcurl) 开发 之一】Cocos2dx之libcurl(curl_easy)的编程教程(帮助手册)!
    JSP中统一错误信息输出
    在号码池取连续号码的算法
    常用的文件操作方法
    走出基金净值的误区
    ResultSet概论
  • 原文地址:https://www.cnblogs.com/niutao/p/10548251.html
Copyright © 2011-2022 走看看