zoukankan      html  css  js  c++  java
  • Flink on yarn的配置及执行

    1. 写在前面

    Flink被誉为第四代大数据计算引擎组件,即可以用作基于离线分布式计算,也可以应用于实时计算。Flink可以自己搭建集群模式已提供为庞大数据的计算。但在实际应用中。都是计算hdfs上的数据文件,所以更多的建立在基于hadoop集群,而hadoop集群的资源调度组件为yarn,所以Flink on yarn本身就是提供了集群模式,将flink计算的资源调度和管理交给yarn,这里详细介绍flink on yarn的配置(默认hadoop几圈是配置没有问题的)

    2. 配置yarn-site.xml

    这里的配置主要是配置执行的资源信息

    注意:最后两行的配置至关重要,如果不配会导致执行的结果没问题,但当flink提交执行结果报错从而导致整个任务进程都在影响下个任务的执行,其他配置都是配置flink的一些基本资源信息

    4. 执行flink任务

    ./bin/flink run -m yarn-cluster -yn 2 -yjm 1024 -ytm 1024 /wordspace/meijs/yndata-1.0.jar 20180318 15
    

    该命令指定了nodemanager的个数,jobmanager的内存信息和taskmanager的内存信息

    当执行任务出现以下信息证明成功,并可以在yarn管理页面上看到任务的执行状态

  • 相关阅读:
    汤圆只有汤没有圆了,过了过了
    CommonJS
    What is Socket.IO?
    白话PGP/GPG
    汤圆只有汤没有圆了,过了过了
    npm for nodejs
    Running Daemontools under Ubuntu 8.10
    ubuntu seahouse
    node.js入门
    my blog zen :分享所学,backup一切~
  • 原文地址:https://www.cnblogs.com/jiashengmei/p/10567523.html
Copyright © 2011-2022 走看看