zoukankan      html  css  js  c++  java
  • FlinkStream第一个代码WordCount

    import org.apache.flink.api.java.utils.ParameterTool
    import org.apache.flink.streaming.api.scala.{DataStream, StreamExecutionEnvironment}
    import org.apache.flink.streaming.api.scala.StreamExecutionEnvironment
    import org.apache.flink.streaming.api.scala._
    object SteamWordCount {
      def main(args: Array[String]): Unit = {
        //创建流处理的执行环境
        val env: StreamExecutionEnvironment = StreamExecutionEnvironment.getExecutionEnvironment
        //设置并行度
    //    env.setParallelism(2)
    
        //从外部命令中,提取参数,作为socket主机名和端口号
        val paramtoool = ParameterTool.fromArgs(args)
        val host = paramtoool.get("host")
        val hort = paramtoool.getInt("port")
        //接受一个socket文本流
        val inputDataStream: DataStream[String] = env.socketTextStream("192.168.0.20", 777)
    //        进行转换处理统计
            inputDataStream
              .flatMap(_.split(" "))
              .filter(_.nonEmpty)
              .map((_,1))
              .keyBy(0)
              .sum(1)
              .print()
        env.execute("word count")
      }
    }
    author@nohert
  • 相关阅读:
    Unity中的shadows(一)
    位1的个数
    Lua的协程
    安装SQL Server 2016时报0x84b10001生成XML文档时出错
    pcl registeration
    SO3和SE3的使用
    save_obj
    vulkan
    gcc编译选项
    全局函数与全局变量 多次使用、引用
  • 原文地址:https://www.cnblogs.com/gzgBlog/p/14928152.html
Copyright © 2011-2022 走看看