zoukankan      html  css  js  c++  java
  • 生成器和迭代器

    列表生成式

        >>> a = [i+1 for i in range(10)]
        >>> a
        [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]
        循环 range(10) 生成一个列表,这就是列表生成器
        
        这个range() 函数可创建一个整数列表
        
        python2 :

            >>> print(range(10))

            [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]


        python3 :

            >>> print(range(10))

            range(0, 10)

          

         以上可见python2中,等于是创建了两个列表,比python3中,增加了内存消耗,python3中的优化

          

     

     

    生成器generator

      

       由上可知在python2中,创建一个包含100万个元素的列表,不仅占用很大的存储空间,

        如果我们仅仅需要访问前面几个元素,那后面绝大多数元素占用的空间都白白浪费了。比如我要循环100万次,

        按py的语法,for i in range(1000000)会先生成100万个值的列表。但是循环到第50次时,

        我就不想继续了,就退出了。但是90多万的列表元素就白为你提前生成了。

     

          

          for i in range(1000000):
              if i == 50: 
                break
            print(i)

     

        像上面这个循环,每次循环只是+1而已,我们完全可以写一个算法,让他执行一次就自动+1,这样就不必创建完整的list,

     

        从而节省大量的空间。在Python中,这种一边循环一边计算后面元素的机制,称为生成器:generator。

     

        要创建一个generator,有很多种方法。第一种方法很简单,只要把一个列表生成式的[]改成(),就创建了一个generator:

        >>> [x * x for x in range(10)]
        [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
        >>> 
        >>> (x * x for x in range(10))
         at 0x101ebc3b8>
    

        (x*x for x in range(10))生成的就是一个生成器。

     

     

     

        如果要一个一个打印出来,可以通过next()函数获得generator的下一个返回值

     

        

        >>> g = (x * x for x in range(10))
        >>> next(g)
        0
        >>> next(g)
        1
        >>> next(g)
        4
        >>> next(g)
        9
        >>> next(g)
        16
        >>> next(g)
        25
        >>> next(g)
        36
        >>> next(g)

        generator保存的是算法,每次调用next(g)就计算出g的下一个元素的值,直到计算到最后一个元素,没有更多的元素时,抛出StopIteration的错误。

        

        

        for 循环打印generator

        

        

        >>> g = (x * x for x in range(10))
        >>> for n in g:
        ...     print(n)
       
        0
        1
        4
        9

         ...

        通过for循环来迭代它,就不需要关心StopIteration的错误了。


        函数生成器

          generator非常强大。如果推算的算法比较复杂,用类似列表生成式的for循环无法实现的时候,还可以用函数来实现。

          比如,著名的斐波拉契数列(Fibonacci),除第一个和第二个数外,任意一个数都可由前两个数相加得到:

          1, 1, 2, 3, 5, 8, 13, 21, 34, …

          实现100以内的斐波那契数代码:

          a,b = 0,1
          n = 0  # 斐波那契数
          while n < 100:
              n = a + b
              a = b # 把b的旧值给到a
              b = n # 新的b = a + b(旧b的值)
              print(n)
    

          改成函数也可以的

          def fib(max):
              a,b = 0,1
              n = 0  # 斐波那契数
              while n < max:
                  n = a + b
                  a = b # 把b的旧值给到a
                  b = n # 新的b = a + b(旧b的值)
                  print(n)
          fib(100)
    

          输出 :

          1

          2

          3

          5

          8

          13

          21

          34

          55

          89

          144

        仔细观察,可以看出,fib函数实际上是定义了斐波拉契数列的推算规则,可以从第一个元素开始,推算出后续任意的元素,这种逻辑其实非常类似generator。

        也就是说,上面的函数和generator仅一步之遥。要把fib函数变成generator,只需要把print(b)改为yield b就可以了:

        def fib(max):
            a,b = 0,1
            n = 0  # 斐波那契数
            while n < max:
                n = a + b
                a = b # 把b的旧值给到a
                b = n # 新的b = a + b(旧b的值)
                #print(n)
                yield n # 程序走到这,就会暂停下来,返回n到函数外面,直到被next方法调用时唤醒
        f = fib(100) # 注意这句调用时,函数并不会执行,只有下一次调用next时,函数才会真正执行
        print(f)
        print(f.__next__())
        print(f.__next__())
        print(f.__next__())
        print(f.__next__())
    

        输出

        1
        2
        3
        5
    

        这就是定义generator的另一种方法。如果一个函数定义中包含yield关键字,那么这个函数就不再是一个普通函数,而是一个generator:

        这里,最难理解的就是generator和函数的执行流程不一样。函数是顺序执行,遇到return语句或者最后一行函数语句就返回。而变成generator的函数,

        在每次调用next()的时候执行,遇到yield语句暂停并返回数据到函数外,再次被next()调用时从上次返回的yield语句处继续执行

        

        的例子,我们在循环过程中不断调用yield,函数就会不断的中断(暂停)。当然要给循环设置一个条件来退出循环,不然就会产生一个无限数列出来。

        同样的,把函数改成generator后,我们基本上从来不会用next()来获取下一个返回值,而是直接使用for循环来迭代:

        f = fib(100) # 注意这句调用时,函数并不会执行,只有下一次调用next时,函数才会真正执行
        for i in f:
            print(i)
        #输出:
        1
        2
        3
        ...
        ...
        55
        89
        144
    

        并发编程

            虽然我们还没学并发编程,但我们肯定听过cpu 多少核多少核之类的,cpu的多核就是为了可以实现并行运算,让你同时边听歌、边聊qq、边刷知乎。

            单核的cpu同一时间只能干一个事,所以你用单核电脑同时做好几件事的话,就会变的很慢,因为cpu要在不同程序任务间来回切换。

            通过yield, 我们可以实现单核下并发做多件事的效果。

          import time
          def consumer(name):
            print("%s 准备吃包子啦!" %name)
            while True:
               baozi = yield  # yield可以接收到外部send传过来的数据并赋值给baozi
               print("包子[%s]来了,被[%s]吃了!" %(baozi,name))
          c = consumer('A')
          c2 = consumer('B')
          c.__next__() # 执行一下next可以使上面的函数走到yield那句。 这样后面的send语法才能生效
          c2.__next__()
          print("----老子开始准备做包子啦!----")
          for i in range(10):
              time.sleep(1)
              print("做了2个包子!")
              c.send(i)  # send的作用=next, 同时还把数据传给了上面函数里的yield
              c2.send(i)
    

          注意:调用send(x)给生成器传值时,必须确保生成器已经执行过一次next()调用, 这样会让程序走到yield位置等待外部第2次调用。

     

    迭代器Iterator

                

      我们已经知道,可以直接作用于for循环的数据类型有以下几种:

      1. 一类是集合数据类型,如listtupledictsetstr等;

      2. 一类是generator,包括生成器和带yield的generator function。

      这些可以直接作用于for循环的对象统称为可迭代对象:Iterable,可迭代的意思就是可遍历、可循环

      可以使用isinstance()判断一个对象是否是Iterable对象:

      >>> from collections import Iterable
      >>> isinstance([], Iterable)
      True
      >>> isinstance({}, Iterable)
      True
      >>> isinstance('abc', Iterable)
      True
      >>> isinstance((x for x in range(10)), Iterable)
      True
      >>> isinstance(100, Iterable)
      False
    

      而生成器不但可以作用于for循环,还可以被next()函数不断调用并返回下一个值,直到最后抛出StopIteration错误表示无法继续返回下一个值了。

      *可以被next()函数调用并不断返回下一个值的对象称为迭代器:Iterator。

      可以使用isinstance()判断一个对象是否是Iterator对象:

      >>> from collections.abc import Iterator
      >>> isinstance([],Iterator)
     True   
      >>> isinstance({}, Iterator)   
      True   
      >>> isinstance('abc', Iterator)   
      True
     >>> isinstance((x for x in range(10)), Iterator)   
      True   
      >>> isinstance(100, Iterator)   
      False

      生成器都是Iterator对象,但listdictstr虽然是Iterable,却不是Iterator

      把listdictstrIterable变成Iterator可以使用iter()函数:

        >>> isinstance(iter([]), Iterator)
        True
        >>> isinstance(iter('abc'), Iterator)
        True
    

         你可能会问,为什么listdictstr等数据类型不是Iterator

      这是因为Python的Iterator对象表示的是一个数据流,Iterator对象可以被next()函数调用并不断返回下一个数据,直到没有数据时抛出StopIteration错误。

      可以把这个数据流看做是一个有序序列,但我们却不能提前知道序列的长度,只能不断通过next()函数实现按需计算下一个数据,所以Iterator的计算是惰性的,

      只有在需要返回下一个数据时它才会计算。

      Iterator甚至可以表示一个无限大的数据流,例如全体自然数。而使用list是永远不可能存储全体自然数的。

      小结 :

        凡是可作用于for循环的对象都是Iterable类型;

        凡是可作用于next()函数的对象都是Iterator类型,它们表示一个惰性计算的序列;

        集合数据类型如listdictstr等是Iterable但不是Iterator,不过可以通过iter()函数获得一个Iterator对象。

      

      回到一开始我们讲的python3 和 python2 range的区别

      

        # 简单模拟range
        class Foo:
         def __init__(self,start,stop):
         self.num=start
         self.stop=stop
         def __iter__(self):
         return self
         def __next__(self):
         if self.num >= self.stop:
         raise StopIteration
        n=self.num
         self.num+=1
         return n

        f=Foo(1,5)
        from collections.abc import Iterator
        print(isinstance(f,Iterator))

        for i in Foo(1,5):
         print(i)

        以上可知:在python3,range的实现方式是基于迭代器。

     

     

     

     

     

     

     

     

     

  • 相关阅读:
    Linux的chattr与lsattr命令详解
    linux mutt邮件发送配置
    linux查看杀死进程
    linux邮件配置
    八-----函数探幽
    一至七-----小东西
    350. Intersection of Two Arrays II
    349. Intersection of Two Arrays
    345. Reverse Vowels of a String
    反转字符串
  • 原文地址:https://www.cnblogs.com/sunny666/p/11516620.html
Copyright © 2011-2022 走看看