zoukankan      html  css  js  c++  java
  • ALINK(十四):数据处理(一)数据划分 (SplitBatchOp) 一

    Java 类名:com.alibaba.alink.operator.batch.dataproc.SplitBatchOp

    Python 类名:SplitBatchOp

    功能介绍

    本算子将输入数据按比例拆分为两部分。

    参数说明

    名称

    中文名称

    描述

    类型

    是否必须?

    默认值

    fraction

    拆分到左端的数据比例

    拆分到左端的数据比例

    Double

     

    randomSeed

    随机数种子

    随机数种子

    Integer

     

    null

    代码示例

    Python 代码

    from pyalink.alink import *
    import pandas as pd
    useLocalEnv(1)
    df_data = pd.DataFrame([['Ohio', 2000, 1.5], 
                            ['Ohio', 2001, 1.7],
                            ['Ohio', 2002, 3.6],
                            ['Nevada', 2001, 2.4],
                            ['Nevada', 2002, 2.9],
                            ['Nevada', 2003, 3.2],])
    batch_data = BatchOperator.fromDataframe(df_data, schemaStr='f1 string, f2 bigint, f3 double')
    spliter = SplitBatchOp().setFraction(0.5)
    spliter.linkFrom(batch_data)
    spliter.print()
    spliter.getSideOutput(0).print() #另外的部分

    Java 代码

    import org.apache.flink.types.Row;
    import com.alibaba.alink.operator.batch.BatchOperator;
    import com.alibaba.alink.operator.batch.dataproc.SplitBatchOp;
    import com.alibaba.alink.operator.batch.source.MemSourceBatchOp;
    import org.junit.Test;
    import java.util.Arrays;
    import java.util.List;
    public class SplitBatchOpTest {
      @Test
      public void testSplitBatchOp() throws Exception {
        List <Row> df_data = Arrays.asList(
          Row.of("Ohio", 2001, 1.7),
          Row.of("Ohio", 2002, 3.6),
          Row.of("Nevada", 2001, 2.4),
          Row.of("Nevada", 2002, 2.9)
        );
        BatchOperator <?> batch_data = new MemSourceBatchOp(df_data, "f1 string, f2 int, f3 double");
        BatchOperator <?> spliter = new SplitBatchOp().setFraction(0.5);
        spliter.linkFrom(batch_data);
        spliter.print();
      }
    }

    运行结果

  • 相关阅读:
    JS---案例:大量字符串拼接效果实现
    JS高级---三种创建对象的方式
    松软科技Web课堂:JavaScript HTML DOM 动画
    JS-DOM事件
    JS DOM操作(创建、遍历、获取、操作、删除节点)
    ES6函数的扩展
    月薪20k的web前端开发程序员,他们都会的这6招
    JS高级---识别正则表达式是否匹配
    揭秘webpack plugin
    react-React深入-一等公民-props-onChange
  • 原文地址:https://www.cnblogs.com/qiu-hua/p/14887463.html
Copyright © 2011-2022 走看看