zoukankan      html  css  js  c++  java
  • oracle 行列转换 pivot unpivot (本文来自官网)

    Pivot

    如您所知,关系表是表格化的,即,它们以列-值对的形式出现。假设一个表名为 CUSTOMERS。

    SQL> desc customers
     Name                                      Null?    Type
     ----------------------------------------- -------- ---------------------------
     CUST_ID                                            NUMBER(10)
     CUST_NAME                                          VARCHAR2(20)
     STATE_CODE                                         VARCHAR2(2)
     TIMES_PURCHASED                                    NUMBER(3)
    

    选定该表:

    select cust_id, state_code, times_purchased
    from customers
    order by cust_id;
    

    输出结果如下:

    CUST_ID STATE_CODE TIMES_PURCHASED
    ------- ---------- ---------------
          1 CT                       1
          2 NY                      10
          3 NJ                       2
          4 NY                       4
    ...  
                                  
    and so on
    ...

    注意数据是如何以行值的形式显示的:针对每个客户,该记录显示了客户所在的州以及该客户在商店购物的次数。当该客户从商店购买更多物品时,列 times_purchased 会进行更新。 

    现在,假设您希望统计一个报表,以了解各个州的购买频率,即,各个州有多少客户只购物一次、两次、三次等等。如果使用常规 SQL,您可以执行以下语句:

    select state_code, times_purchased, count(1) cnt
    from customers
    group by state_code, times_purchased;
    

    输出如下:

    ST TIMES_PURCHASED        CNT
    -- --------------- ----------
    CT               0         90
    CT               1        165
    CT               2        179
    CT               3        173
    CT               4        173
    CT               5        152
    ...  
                                  
    and so on
    ...

    这就是您所要的信息,但是看起来不太方便。使用交叉表报表可能可以更好地显示这些数据,这样,您可以垂直排列数据,水平排列各个州,就像电子表格一样:

    Times_purchased
                 CT           NY         NJ      ...  
                                  
    and so on
    ... 1 0 1 0 ... 2 23 119 37 ... 3 17 45 1 ... ...
    and so on
    ...

    在 Oracle 数据库 11g 推出之前,您需要针对每个值通过 decode 函数进行以上操作,并将每个不同的值编写为一个单独的列。但是,该方法一点也不直观。 

    庆幸的是,您现在可以使用一种很棒的新特性 PIVOT 通过一种新的操作符以交叉表格式显示任何查询,该操作符相应地称为 pivot。下面是查询的编写方式:

    select * from (
       select times_purchased, state_code
       from customers t
    )
    pivot 
    (
       count(state_code)
       for state_code in ('NY','CT','NJ','FL','MO')
    )
    order by times_purchased
    /
    

    输出如下:

    . TIMES_PURCHASED       'NY'       'CT'       'NJ'       'FL'       'MO'
    --------------- ---------- ---------- ---------- ---------- ----------
                  0      16601         90          0          0          0
                  1      33048        165          0          0          0
                  2      33151        179          0          0          0
                  3      32978        173          0          0          0
                  4      33109        173          0          1          0
    ... and so on ...
    

    这表明了 pivot 操作符的威力。state_codes 作为标题行而不是列显示。下面是传统的表格化格式的图示:

      
    图 1 传统的表格化显示

    在交叉表报表中,您希望将 Times Purchased 列的位置掉换到标题行,如图 2 所示。该列变为行,就好像该列逆时针旋转 90 度而变为标题行一样。该象征性的旋转需要有一个支点 (pivot point),在本例中,该支点为 count(state_code) 表达式。

      
    图 2 执行了 Pivot 操作的显示

    该表达式需要采用以下查询语法:

    ...
    pivot 
    (
       count(state_code)
       for state_code in ('NY','CT','NJ','FL','MO')
    )
    ...
    

    第二行“for state_code ...”限制查询对象仅为这些值。该行是必需的,因此不幸的是,您需要预先知道可能的值。该限制在 XML 格式的查询将有所放宽,如本文后面部分所述。

    注意输出中的标题行:

    . TIMES_PURCHASED       'NY'       'CT'       'NJ'       'FL'       'MO'
      --------------- ---------- ---------- ---------- ---------- ----------
    

    列标题是来自表本身的数据:州代码。缩写可能已经相当清楚无需更多解释,但是假设您希望显示州名而非缩写(“Connecticut”而非“CT”),那又该如何呢?如果是这样,您需要在查询的 FOR 子句中进行一些调整,如下所示:

    select * from (
       select times_purchased as "Puchase Frequency", state_code
       from customers t
    )
    pivot 
    (
       count(state_code)
       for state_code in ('NY' as "New York",'CT' "Connecticut",
                      'NJ' "New Jersey",'FL' "Florida",'MO' as "Missouri")
    )
    order by 1
    /
    
    Puchase Frequency   New York Connecticut New Jersey    Florida   Missouri
    ----------------- ---------- ----------- ---------- ---------- ----------
                    0      16601         90           0          0          0
                    1      33048        165           0          0          0
                    2      33151        179           0          0          0
                    3      32978        173           0          0          0
                    4      33109        173           0          1          0
    ...  
                                  
    and so on
    ...

    FOR 子句可以提供其中的值(这些值将成为列标题)的别名。

    Unpivot

    就像有物质就有反物质一样,有 pivot 就应该有“unpivot”,对吧?

    好了,不开玩笑,但 pivot 的反向操作确实需要。假设您有一个显示交叉表报表的电子表格,如下所示:

    Purchase Frequency New York Connecticut New Jersey Florida Missouri
    0 12 11 1 0 0
    1 900 14 22 98 78
    2 866 78 13 3 9
    ... .        


    现在,您希望将这些数据加载到一个名为 CUSTOMERS 的关系表中: 

    SQL> desc customers
     Name                                      Null?    Type
     ----------------------------------------- -------- ---------------------------
     CUST_ID                                            NUMBER(10)
     CUST_NAME                                          VARCHAR2(20)
     STATE_CODE                                         VARCHAR2(2)
     TIMES_PURCHASED                                    NUMBER(3)
    

    必须将电子表格数据去规范化为关系格式,然后再进行存储。当然,您可以使用 DECODE 编写一个复杂的 SQL*:Loader 或 SQL 脚本,以将数据加载到 CUSTOMERS 表中。或者,您可以使用 pivot 的反向操作 UNPIVOT,将列打乱变为行,这在 Oracle 数据库 11g 中可以实现。

    通过一个示例对此进行演示可能更简单。让我们首先使用 pivot 操作创建一个交叉表:

      1  create table cust_matrix
      2  as
      3  select * from (
      4     select times_purchased as "Puchase Frequency", state_code
      5     from customers t
      6  )
      7  pivot
      8  (
      9     count(state_code)
     10     for state_code in ('NY' as "New York",'CT' "Conn",
    'NJ' "New Jersey",'FL' "Florida",
    'MO' as "Missouri")
     11  )
     12* order by 1
    

    您可以查看数据在表中的存储方式:

    SQL> select * from cust_matrix
      2  /
    
    Puchase Frequency   New York       Conn New Jersey    Florida   Missouri
    ----------------- ---------- ---------- ---------- ---------- ----------
                    1      33048        165          0          0          0
                    2      33151        179          0          0          0
                    3      32978        173          0          0          0
                    4      33109        173          0          1          0
    ... and so on ...
    

    这是数据在电子表格中的存储方式:每个州是表中的一个列(“New York”、“Conn”等等)。

    SQL> desc cust_matrix
     Name                                      Null?    Type
     ----------------------------------------- -------- ---------------------------
     Puchase Frequency                                  NUMBER(3)
     New York                                           NUMBER
     Conn                                               NUMBER
     New Jersey                                         NUMBER
     Florida                                            NUMBER
     Missouri                                           NUMBER
    

    您需要将该表打乱,使行仅显示州代码和该州的购物人数。通过 unpivot 操作可以达到此目的,如下所示:

    select *
      from cust_matrix
    unpivot
    (
      state_counts
        for state_code in ("New York","Conn","New Jersey","Florida","Missouri")
    )
    order by "Puchase Frequency", state_code
    /
    

    输出如下:

    Puchase Frequency STATE_CODE STATE_COUNTS
    ----------------- ---------- ------------
                    1 Conn                165
                    1 Florida               0
                    1 Missouri              0
                    1 New Jersey            0
                    1 New York          33048
                    2 Conn                179
                    2 Florida               0
                    2 Missouri              0
    ...  
                                  
    and so on
    ...

    注意每个列名如何变为 STATE_CODE 列中的一个值。Oracle 如何知道 state_code 是一个列名?它是通过查询中的子句知道的,如下所示:

    for state_code in ("New York","Conn","New Jersey","Florida","Missouri")
    

    这里,您指定“New York”、“Conn”等值是您要对其执行 unpivot 操作的 state_code 新列的值。我们来看看部分原始数据:

    Puchase Frequency   New York       Conn New Jersey    Florida   Missouri
    ----------------- ---------- ---------- ---------- ---------- ----------
                    1      33048        165          0          0          0
    

    当列“纽约”突然变为一个行中的值时,您会怎样显示值 33048 呢?该值应该显示在哪一列下呢?上述查询中 unpivot 操作符内的 for 子句上面的子句对此进行了解答。您指定了 state_counts,它就是在生成的输出中创建的新列的名称。 

    Unpivot 可以是 pivot 的反向操作,但不要以为前者可以对后者所进行的任何操作进行反向操作。例如,在上述示例中,您对 CUSTOMERS 表使用 pivot 操作创建了一个新表 CUST_MATRIX。然后,您对 CUST_MATRIX 表使用了 unpivot,但这并没有取回原始表 CUSTOMERS 的详细信息。相反,交叉表报表以便于您将数据加载到关系表中的不同方式显示。因此 unpivot 并不是为了取消 pivot 所进行的操作。在使用 pivot 创建一个表然后删除原始表之前,您应该慎重考虑。

    unpivot 的某些很有趣的用法超出了通常的强大数据操作功能范围(如上面的示例)。Amis Technologies 的 Oracle ACE 总监 Lucas Jellema 介绍了如何生成若干行特定数据用于测试。在此,我将对他的原始代码稍加修改,以显示英语字母表中的元音:

    select value
    from
    (
        (
            select
                'a' v1,
                'e' v2,
                'i' v3,
                'o' v4,
                'u' v5
            from dual
        )
        unpivot
        (
            value
            for value_type in
                (v1,v2,v3,v4,v5)
        )
    )
    /
    

    输出如下:

    V
    -
    a
    e
    i
    o
    u
    

    该模型可以扩展为包含任何类型的行生成器。感谢 Lucas 为我们提供了这一巧妙招术。

    XML 类型

    在上述示例中,注意您指定有效的 state_codes 的方式:

    for state_code in ('NY','CT','NJ','FL','MO')
    

    该要求假设您知道 state_code 列中显示的值。如果您不知道都有哪些值,您怎么构建查询呢?

    pivot 操作中的另一个子句 XML 可用于解决此问题。该子句允许您以 XML 格式创建执行了 pivot 操作的输出,在此输出中,您可以指定一个特殊的子句 ANY 而非文字值。示例如下:

    select * from (
       select times_purchased as "Purchase Frequency", state_code
       from customers t
    )
                                   
    pivot xml
    ( count(state_code)
    for state_code in (any)
    ) order by 1 /

    输出恢复为 CLOB 以确保 LONGSIZE 在查询运行之前设置为大值。

    SQL> set long 99999
    

    较之原始的 pivot 操作,该查询有两处明显不同(用粗体显示)。首先,您指定了一个子句 pivot xml 而不只是 pivot。该子句生成 XML 格式的输出。其次,for 子句显示 for state_code in (any) 而非长列表的 state_code 值。该 XML 表示法允许您使用 ANY 关键字,您不必输入 state_code 值。输出如下: 

    Purchase Frequency STATE_CODE_XML
    ------------------ --------------------------------------------------
                     1 <PivotSet><item><column name = "STATE_CODE">CT</co
                       lumn><column name = "COUNT(STATE_CODE)">165</colum
                       n></item><item><column name = "STATE_CODE">NY</col
                       umn><column name = "COUNT(STATE_CODE)">33048</colu
                       mn></item></PivotSet>
    
                     2 <PivotSet><item><column name = "STATE_CODE">CT</co
                       lumn><column name = "COUNT(STATE_CODE)">179</colum
                       n></item><item><column name = "STATE_CODE">NY</col
                       umn><column name = "COUNT(STATE_CODE)">33151</colu
                       mn></item></PivotSet>
     
    ... and so on ...
    

    如您所见,列 STATE_CODE_XML 是 XMLTYPE,其中根元素是 <PivotSet>。每个值以名称-值元素对的形式表示。您可以使用任何 XML 分析器中的输出生成更有用的输出。

    除了 ANY 子句外,您还可以编写一个子查询。假设您有一个优先州列表并希望仅选择这些州的行。您将优先州放在一个名为 preferred_states 的新表中:

    SQL> create table preferred_states
      2  (
      3     state_code varchar2(2)
      4  )
      5  /
     
    Table created.
     
    SQL> insert into preferred_states values ('FL')
      2> /
     
    1 row created.
     
    SQL> commit;
     
    Commit complete.
    

    现在 pivot 操作如下所示:

    select * from (
       select times_purchased as "Puchase Frequency", state_code
       from customers t
    )
    pivot xml
    (
       count(state_code)
       for state_code in (select state_code from preferred_states)
    )
    order by 1
    /
    

    for 子句中的子查询可以是您需要的任何内容。例如,如果希望选择所有记录而不限于任何优先州,您可以使用以下内容作为 for 子句:

    for state_code in (select distinct state_code from customers)
    

    子查询必须返回不同的值,否则查询将失败。这就是我们指定上述 DISTINCT 子句的原因。

    结论

    Pivot 为 SQL 语言增添了一个非常重要且实用的功能。您可以使用 pivot 函数针对任何关系表创建一个交叉表报表,而不必编写包含大量 decode 函数的令人费解的、不直观的代码。同样,您可以使用 unpivot 操作转换任何交叉表报表,以常规关系表的形式对其进行存储。Pivot 可以生成常规文本或 XML 格式的输出。如果是 XML 格式的输出,您不必指定 pivot 操作需要搜索的值域。

  • 相关阅读:
    Flink1.9重大改进和新功能
    【2020】DBus,一个更能满足企业需求的大数据采集平台
    大数据运维:大数据平台+海量数据
    大数据运维尖刀班 | 集群_监控_CDH_Docker_K8S_两项目_腾讯云服务器
    离线数仓和实时数仓架构与设计
    【全集】IDEA入门到实战
    Mysql快速入门
    RabbitMQ安装
    消息队列MQ简介
    C#特性
  • 原文地址:https://www.cnblogs.com/lanyue52011/p/2667182.html
Copyright © 2011-2022 走看看