zoukankan      html  css  js  c++  java
  • python 数据统计,分组的一些小技巧

    --> python 数据统计,分组的一些小技巧

    python 数据统计,分组的一些小技巧

    2016-07-19 Python开发者 Python开发者

    (点击上方公众号,可快速关注)


    来源:KillerManA  

    链接:http://www.jianshu.com/p/e792eea5056c


    最近在用python做数据统计,这里总结了一些最近使用时查找和总结的一些小技巧,希望能帮助在做这方面时的一些童鞋。有些技巧是很平常的用法,平时我们没有注意,但是在特定场景,这些小方法还是能带来很大的帮助。


    1.在字典中将键映射到多个值上面


    {'b': [4, 5, 6],

    'a': [1, 2, 3]}


    有时候我们在统计相同key值的时候,希望把所有相同key的条目添加到以key为键的一个字典中,然后再进行各种操作,这时候我们就可以使用下面的代码进行操作:


    from collections import defaultdict

    d = defaultdict(list)

    print(d)

    d['a'].append(1)

    d['a'].append(2)

    d['a'].append(3)

    d['b'].append(4)

    d['b'].append(5)

    d['b'].append(6)

    print(d)

    print(d.get("a"))

    print(d.keys())

    print([d.get(i) for i in d])


    这里是使用了collections中的方法,这里面还拥有很多有用的方法,我们有时间在继续进行深入了解。


    上面代码运行结果:


    defaultdict(, {})

    defaultdict(, {'b': [4, 5, 6], 'a': [1, 2, 3]})

    [1, 2, 3]

    dict_keys(['b', 'a'])

    [[4, 5, 6], [1, 2, 3]]


    我们将数据填入之后,相当于进行快速分组,然后遍历每个组就可以统计一些我们需要的数据。


    2.迅速转换字典键值对


    data = {...}

    zip(data.values(), data.keys())


    data是我们的格式数据,使用zip后进行快速键值转换,然后可以使用max,min之类函数进行数据操作。


    3.通过公共键对字典进行排序


    from operator import itemgetter

    data = [

        {'name': "bran", "uid": 101},

        {'name': "xisi", "uid": 102},

        {'name': "land", "uid": 103}

    ]

    print(sorted(data, key=itemgetter("name")))

    print(sorted(data, key=itemgetter("uid")))


    数据格式就是data,我们想要对name或者uid进行排序我们就是用代码中的方法。


    运行结果:


    [{'name': 'bran', 'uid': 101}, {'name': 'land', 'uid': 103}, {'name': 'xisi', 'uid': 102}]

    [{'name': 'bran', 'uid': 101}, {'name': 'xisi', 'uid': 102}, {'name': 'land', 'uid': 103}]


    正如我们期望中的一样


    4.对列表中的多个字典根据某一字段进行分组


    注意注意,在进行分组前要首先对数据进行排序处理,排序字段根据实际要求来选择


    即将处理的数据:


    rows = [

        {'name': "bran", "uid": 101, "class": 13},

        {'name': "xisi", "uid": 101, "class": 11},

        {'name': "land", "uid": 103, "class": 10}

    ]


    期望处理结果:


    {

    101: [{'name': 'xisi', 'class': 11, 'uid': 101},{'name': 'bran', 'class': 13, 'uid': 101}],

    103: [{'name': 'land', 'class': 10, 'uid': 103}]

    }


    我们按照uid进行分组,这里只是演示,uid一般也不会重复。


    这个比较复杂一点,我们一部一步来分解


    some = [('a', [1, 2, 3]), ('b', [4, 5, 6])]

    print(dict(some))


    结果:


    {'b': [4, 5, 6], 'a': [1, 2, 3]}


    这里我们的目的是将元组转换成字典,这个很简单,应该都能看懂。接着我们来下一步对待处理数据进行排序:


    data_one = sorted(rows, key=itemgetter("class"))

    print(data_one)

    data_two = sorted(rows, key=lambda x: (x["uid"], x["class"]))

    print(data_two)


    这里我们提供两种排序方式原理相同,只是样式稍有区别,第一种data_one是直接使用itemgetter,按照我们前面使用过得,直接按照某一字段进行排序,可是有时候我们会有另一种要求:




    先按照某一字段排序,当第一字段重复时,再按照另一字段排序。




    这时我们就用第二种方法,进行多字段值排序。

    排序结果如下:


    [{'name': 'land', 'class': 10, 'uid': 103}, {'name': 'xisi', 'class': 11, 'uid': 101}, {'name': 'bran', 'class': 13, 'uid': 101}]

    [{'name': 'xisi', 'class': 11, 'uid': 101}, {'name': 'bran', 'class': 13, 'uid': 101}, {'name': 'land', 'class': 10, 'uid': 103}]


    结果大家慢慢看一下,还是略有差别。


    接下来就进行最后一步了,将我们刚才讲的两种方式结合起来使用:


    data = dict([(g, list(k)) for g, k in groupby(data_two, key=lambda x: x["uid"])])

    print(data)


    我们对排序好的数据进行分组,然后生成元组列表,最后将其转换成字典,这里大功告成,我们成功将数据进行分组。


    今天这些小技巧在处理一些数据方面还是很有帮助的,希望能帮到在这方面有需要的童鞋~


    【今日微信公号推荐↓】

    更多推荐请看值得关注的技术和设计公众号


    其中推荐了包括技术设计极客 和 IT相亲相关的热门公众号。技术涵盖:Python、Web前端、Java、安卓、iOS、PHP、C/C++、.NET、Linux、数据库、运维、大数据、算法、IT职场等。点击《值得关注的技术和设计公众号》,发现精彩!

  • 相关阅读:
    【大数据学习与分享】技术干货合集
    K8S集群搭建
    字节跳动面试难吗,应该如何应对?(含内推方式)
    我的新书《C++服务器开发精髓》终于出版啦
    同事内推的那位Linux C/C++后端开发同学面试没过......
    死磕hyperledger fabric源码|Order节点概述
    死磕以太坊源码分析之EVM如何调用ABI编码的外部方法
    死磕以太坊源码分析之EVM动态数据类型
    死磕以太坊源码分析之EVM固定长度数据类型表示
    死磕以太坊源码分析之EVM指令集
  • 原文地址:https://www.cnblogs.com/zzxx-myblog/p/6481329.html
Copyright © 2011-2022 走看看