zoukankan      html  css  js  c++  java
  • Flink on yarn

    一: 配置:

    1.配置yarn-site.xml

    <property>
    <name>yarn.resourcemanager.am.max-attempts</name>
    <value>4</value>
    </property>

    2.配置flink的flink-conf.yaml

    high-availability: zookeeper

    high-availability.storageDir: hdfs:///flink/ha/

    high-availability.zookeeper.quorum: localhost:2181,diagbot02:2181

    yarn.application-attempts:4

    二:启动

    启动yarn-session命令:  ./yarn-session.sh -n 2 -s 1 -jm 3072 -tm 6144 -nm test -d

    启动yarn-session的参数解释如下

    -n(--container) | taskmanager的数量 |
    -s(--slots)| 用启动应用所需的slot数量/ -s 的值向上取整,有时可以多一些taskmanager,做冗余 每个taskmanager的slot数量,默认一个slot一个core,默认每个taskmanager的slot的个数为1 | 6~10
    -jm | jobmanager的内存(单位MB)| 3072
    -tm | 每个taskmanager的内存(单位MB)| 根据core 与内存的比例来设置,-s的值* (core与内存的比)来算
    -nm | yarn 的appName(现在yarn的ui上的名字)|
    -d |后台执行|

    启动flink命令:   ./flink -run file:///home/yarn/test.jar -a 1 -p 12 -yid appId -nm flink-test -d

    启动应用参数解释如下

    -j | 运行flink 应用的jar所在的目录
    -a | 运行flink 应用的主方法的参数
    -p | 运行flink应用的并行度
    -c | 运行flink应用的主类, 可以通过在打包设置主类
    -nm | flink 应用名字,在flink-ui 上面展示
    -d | 后台执行
    --fromsavepoint| flink 应用启动的状态恢复点

  • 相关阅读:
    HDU2201
    HDU2202 凸包
    HDU 4353 几何
    POJ2031 prim
    HDU1392 凸包
    HDU1689 BFS+最小奇数环
    设计模式 [转]
    Mining Massive Data Sets PPT
    C++编程命名规范 [转]
    static_cast与dynamic_cast转换 [转]
  • 原文地址:https://www.cnblogs.com/kwzblog/p/10253938.html
Copyright © 2011-2022 走看看