zoukankan      html  css  js  c++  java
  • Flink-批处理wordcount

    public class wordcount {
    
        public static void main(String[] args) throws Exception {
    
            ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
    
            String inputPath = "D:\IDEAWorkspace\2017.3\bigData\Flink\src\main\resources\hello.txt";
    
            DataSet<String> dataSource = env.readTextFile(inputPath);
    
            //对一批数据进行转换操作
            DataSet<Tuple2<String, Integer>> result = dataSource.flatMap(new FlatMapFunction<String, Tuple2<String, Integer>>() {
                @Override
                public void flatMap(String s, Collector<Tuple2<String, Integer>> collector) throws Exception {
    
                    String[] words = s.split(" ", -1);
                    for (String word : words) {
                        collector.collect(new Tuple2<>(word, 1));
                    }
                }
            })
            //已经有一批数据了,所以用groupBy进行分组        
            .groupBy(0)//根据元组的第一位分组
            .sum(1);//对元组的第二位进行求和
    
            result.print();
    
        }
    
    }
  • 相关阅读:
    『GoLang』接口
    『GoLang』结构体与方法
    『GoLang』包
    『GoLang』字典Map
    『GoLang』数组与切片
    利用griddata进行二维插值
    HTML 标签的 for 属性
    python之成像库pillow
    Python之模块IO
    StringIO和BytesIO
  • 原文地址:https://www.cnblogs.com/Rabcheng/p/14136280.html
Copyright © 2011-2022 走看看