zoukankan      html  css  js  c++  java
  • ALINK(五):ALINK使用技巧(一)

    来源:https://www.yuque.com/pinshu/alink_guide/czg4cx

    1 Alink Schema String简介【Alink使用技巧】

    Alink在进行表数据读取和转换时,有时需要显示声明数据表的列名和列类型信息,即Schema信息。Schema String就是将此信息使用字符串的方式描述,这样便于作为Java函数或者Python函数的参数输入。

    Schema String的定义格式与SQL Create Table语句所输入的格式相同,列名与对应列类型间使用空格分隔,各列定义间使用逗号分隔。具体格式如下:

    colname coltype[, colname2 coltype2[, ...]]

    例如,"f0 string, f1 bigint, f2 double",即表明数据表共有3列,名称分别为f0, f1和f2;对应类型分别为字符串类型,长整型和双精度浮点型。

     

    关于各种列类型的写法,可以参照下面Flink Type与Type String的对应表。注意:为了适应不同用户的习惯,同一个Flink Type可能对应着多种Type String的写法。另外,Type String对于大小写不敏感,可以写STRING,也可以写String, string等形式。

    2 DataFrame和Alink批式数据的互相转化【Alink使用技巧】

    Alink提供了collectToDataframe()和fromDataframe()方法,实现了DataFrame和Alink批式数据的互相转化。

    Alink批式数据 -> DataFrame

    Alink的批式数据源或者计算结果,如果能转成Python的DataFrame形式,则可以利用Python丰富的函数库及可视化功能,进行后续的分析和显示。

    Alink中每个批式数据源或批式算子都支持collectToDataframe()方法,不需要输入参数,返回的结果就是DataFrame。注意,该方法中带有collect字样,表明其执行过程中会使用Flink的collect方法,触发Flink任务执行。

    示例如下,我们使用CsvSourceBatchOp读取UCI网站的iris.data数据

    source = CsvSourceBatchOp()
        .setFilePath("http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data")
        .setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string")

    然后调用变量source的collectToDataframe()方法,得到相应的DataFrame,付给变量df_iris

    df_iris = source.collectToDataframe()

    到这里,我们就已经实现了Alink数据到Python DataFrame的转化,下面我们就可以使用Python的函数,进一步处理df_iris,譬如:使用head()方法,显示前5条数据。

    df_iris.head()

    运行结果为:

    DataFrame -> Alink批式数据

    对于DataFrame形式的数据,Alink提供了fromDataframe()方法,将数据转换为Alink批式数据。具体使用示例如下:

    iris = BatchOperator.fromDataframe(df_iris, "sepal_length double, sepal_width double, petal_length double, petal_width double, category string")

    使用Alink批式算子BatchOperator的静态方法fromDataframe(),第一个参数为DataFrame数据,第二个参数为数据Schema的描述,由于DataFrame的数据类型与Alink有点差异,通过设置schema参数,可以严格保证转化后的数据与我们期望的一致。关于Schema String更多的介绍可以参见关于 Alink Schema String的简介。

     

    最后,我们看一下转换后的Alink批式数据iris,取前5条数据进行打印输出,代码如下:

    iris.firstN(5).print()

    3 Python数组如何转化为批式数据源?【Alink使用技巧】

    Python数组如何转化为批式数据源,是将DataFrame作为桥梁,分两步实现的:

    • 首先,Python Pandas提供了几种途径,可以在代码中直接输入数据,并构建DataFrame
    • PyAlink提供了DataFrame到SourceBatchOp的转换

    示例如下,首先import pandas,然后定义一个包含String及整数类型的二维数组,并将其转化为DataFrame

    import pandas as pd
    
    arr_2D =[
        ['Alice',1],
        ['Bob',2],
        ['Cindy',3]
    ]
    
    df = pd.DataFrame(arr_2D) 

    然后使用BatchOperator的fromDataFrame方法,将前面定义好的DataFrame类型变量df作为第一个参数,后面的参数用来定义数据的列名与类型,使用SchemaStr格式,即列名与其类型间用空格分隔,各列定义之间使用逗号进行分隔。对应脚本如下:

    BatchOperator.fromDataframe(df, 'name string, value int').print()

    在上面脚本的最后部分,是对转换得到的Alink BatchOperator数据源执行print方法,显示数据的内容如下:

     

     

  • 相关阅读:
    一例智能网卡(mellanox)的网卡故障分析
    jbd2的死锁分析
    一个dcache的性能问题分析
    systemd之导致内核 crash
    开源堡垒机teleport测试
    WSL2添加网络代理,通过宿主机代理出国.
    MongoDB数据库备份操作
    保姆级Mongodb部署教程
    Linux-XZ压缩命令
    eclipse运行Java代码报错:NoClassDefFoundError: javax/xml/bind/*
  • 原文地址:https://www.cnblogs.com/qiu-hua/p/14869270.html
Copyright © 2011-2022 走看看