python---迭代器协议和生成器

 

阅读目录

• 一 递归和迭代
• 二 什么是迭代器协议
• 三 python中强大的for循环机制
• 四 为何要有for循环
• 五 生成器初探
• 六 生成器函数
• 七 生成器表达式和列表解析
• 八 生成器总结

回到顶部

一 递归和迭代

递归：

1. 必须有一个明确的结束条件

2. 每次进入更深一层递归时，问题规模相比上次递归都应有所减少

3.递归效率不高，递归层次过多会导致栈溢出（在计算机中，

函数调用是通过栈（stack）这种数据结构实现的，每当进入一个函数调用，

栈就会加一层栈帧，每当函数返回，栈就会减一层栈帧。由于栈的大小不是无限的，

所以，递归调用的次数过多，会导致栈溢出）

 迭代：

１．可迭代的：只要对象本身有__iter__方法，那它就是可迭代的

２．执行对象下的__iter__方法，得到的结果就是迭代器

 

回到顶部

二 什么是迭代器协议

1.迭代器协议是指：对象必须提供一个next方法，执行该方法要么返回迭代中的下一项，要么就引起一个StopIteration异常，以终止迭代 （只能往后走不能往前退）

2.可迭代对象：实现了迭代器协议的对象（如何实现：对象内部定义一个__iter__()方法）

3.协议是一种约定，可迭代对象实现了迭代器协议，python的内部工具（如for循环，sum，min，max函数等)使用迭代器协议访问对象。

回到顶部

三 python中强大的for循环机制

for循环的本质：循环所有对象，全都是使用迭代器协议。

正本清源：

很多人会想，for循环的本质就是遵循迭代器协议去访问对象，那么for循环的对象肯定都是迭代器了啊，没错，那既然这样，for循环可以遍历（字符串，列表，元组，字典，集合，文件对象），那这些类型的数据肯定都是可迭代对象啊？但是，我他妈的为什么定义一个列表l=[1,2,3,4]没有l.next()方法，打脸么。

 

(字符串，列表，元组，字典，集合，文件对象）这些都不是可迭代对象，只不过在for循环式，调用了他们内部的__iter__方法，把他们变成了可迭代对象

然后for循环调用可迭代对象的__next__方法去取值，而且for循环会捕捉StopIteration异常，以终止迭代

 

 1 l=['a','b','c']

 2 #一:下标访问方式

 3 print(l[0])

 4 print(l[1])

 5 print(l[2])

 6 # print(l[3])#超出边界报错:IndexError

 7

 8 #二:遵循迭代器协议访问方式

 9 diedai_l=l.__iter__()

10 print(diedai_l.__next__())

11 print(diedai_l.__next__())

12 print(diedai_l.__next__())

13 # print(diedai_l.__next__())#超出边界报错:StopIteration

14

15 #三:for循环访问方式

16 #for循环l本质就是遵循迭代器协议的访问方式,先调用diedai_l=l.__iter__()方法,或者直接diedai_l=iter(l),然后依次执行diedai_l.next(),直到for循环捕捉到StopIteration终止循环
　 #for循环所有对象的本质都是一样的原理
17

18 for i in l:#diedai_l=l.__iter__()

19     print(i) #i=diedai_l.next()

20

21 #四:用while去模拟for循环做的事情

22 diedai_l=l.__iter__()

23 while True:

24     try:

25         print(diedai_l.__next__())

26     except StopIteration:

27         print('迭代完毕了,循环终止了')

28         break

 

回到顶部

四 为何要有for循环

基于上面讲的列表的三种访问方式，聪明的你立马看除了端倪，于是你不知死活大声喊道，你这不逗我玩呢么，有了下标的访问方式，我可以这样遍历一个列表啊

 

l=[1,2,3]

 

index=0

while index < len(l):

    print(l[index])

    index+=1

 

#要毛线for循环，要毛线for循环，要毛线for循环

 

 

没错，序列类型字符串，列表，元组都有下标，你用上述的方式访问，perfect！但是你可曾想过非序列类型像字典，集合，文件对象的感受，所以嘛，年轻人，for循环就是基于迭代器协议提供了一个统一的可以遍历所有对象的方法，即在遍历之前，先调用对象的__iter__方法将其转换成一个迭代器，然后使用迭代器协议去实现循环访问，这样所有的对象就都可以通过for循环来遍历了，而且你看到的效果也确实如此，这就是无所不能的for循环，觉悟吧，年轻人

回到顶部

五 生成器初探

什么是生成器？

可以理解为一种数据类型，这种数据类型自动实现了迭代器协议（其他的数据类型需要调用自己内置的__iter__方法），所以生成器就是可迭代对象

 

生成器分类及在python中的表现形式：（Python有两种不同的方式提供生成器）

1.生成器函数：常规函数定义，但是，使用yield语句而不是return语句返回结果。yield语句一次返回一个结果，在每个结果中间，挂起函数的状态，以便下次重它离开的地方继续执行

2.生成器表达式：类似于列表推导，但是，生成器返回按需产生结果的一个对象，而不是一次构建一个结果列表

 

为何使用生成器之生成器的优点

Python使用生成器对延迟操作提供了支持。所谓延迟操作，是指在需要的时候才产生结果，而不是立即产生结果。这也是生成器的主要好处。

 

生成器小结：

1.是可迭代对象

2.实现了延迟计算,省内存啊

3.生成器本质和其他的数据类型一样，都是实现了迭代器协议，只不过生成器附加了一个延迟计算省内存的好处，其余的可迭代对象可没有这点好处，记住喽！！！

回到顶部

六 生成器函数

def init(func):
    def wrapper(*args,**kwargs):
        res=func(*args,**kwargs)
        next(res)
        return res
    return wrapper
#装饰器自动生成nent
@init #eater=init(eater)
def eater(name):
    print('%s start to eat' % name)
    food_list=[]
    while True:
        food = yield food_list
        print('%s eat %s' % (name, food))
        food_list.append(food)

e = eater('zhejiangF4') #wrapper('fff')
# print(e)
# next(e) #e.send(None)

print(e.send('123'))
print(e.send('123'))
print(e.send('123'))
print(e.send('123'))
print(e.send('123'))

#如果在一个函数内部yield的使用方式是表达式形式的话，如x=yield，那么该函数成为协程函数
def eater(name):
    print('%s start to eat food' %name)
    food_list=[]
    while True:
        food=yield food_list
        print('%s get %s ,to start eat' %(name,food))
        food_list.append(food)

    print('done')


e=eater('钢蛋')
# print(e)

print(next(e))
print(e.send('包子'))
print(e.send('韭菜馅包子'))
print(e.send('大蒜包子'))

　　

总结：

1.把列表解析的[]换成()得到的就是生成器表达式

2.列表解析与生成器表达式都是一种便利的编程方式，只不过生成器表达式更节省内存

3.Python不但使用迭代器协议，让for循环变得更加通用。大部分内置函数，也是使用迭代器协议访问对象的。例如， sum函数是Python的内置函数，该函数使用迭代器协议访问对象，而生成器实现了迭代器协议，所以，我们可以直接这样计算一系列值的和：

1 sum(x ** 2 for x in xrange(4))

而不用多此一举的先构造一个列表：

1 sum([x ** 2 for x in xrange(4)])

回到顶部

八 生成器总结

综上已经对生成器有了一定的认识，下面我们以生成器函数为例进行总结

• 语法上和函数类似：生成器函数和常规函数几乎是一样的。它们都是使用def语句进行定义，差别在于，生成器使用yield语句返回一个值，而常规函数使用return语句返回一个值
• 自动实现迭代器协议：对于生成器，Python会自动实现迭代器协议，以便应用到迭代背景中（如for循环，sum函数）。由于生成器自动实现了迭代器协议，所以，我们可以调用它的next方法，并且，在没有值可以返回的时候，生成器自动产生StopIteration异常
• 状态挂起：生成器使用yield语句返回一个值。yield语句挂起该生成器函数的状态，保留足够的信息，以便之后从它离开的地方继续执行

优点一：生成器的好处是延迟计算，一次返回一个结果。也就是说，它不会一次生成所有的结果，这对于大数据量处理，将会非常有用。

1 #列表解析

2 sum([i for i in range(100000000)])#内存占用大,机器容易卡死

3

4 #生成器表达式

5 sum(i for i in range(100000000))#几乎不占内存

优点二：生成器还能有效提高代码可读性

 

 

 1 #求一段文字中，每个单词出现的位置

 2 def index_words(text):

 3     result = []

 4     if text:

 5         result.append(0)

 6     for index, letter in enumerate(text, 1):

 7         if letter == ' ':

 8             result.append(index)

 9     return result

10

11 print(index_words('hello alex da sb'))

 

 

 

#求一段文字中每个单词出现的位置

def index_words(text):

    if text:

        yield 0

    for index, letter in enumerate(text, 1):

        if letter == ' ':

            yield index

 

g=index_words('hello alex da sb')

print(g)

print(g.__next__())

print(g.__next__())

print(g.__next__())

print(g.__next__())

print(g.__next__())#报错

 

 

这里，至少有两个充分的理由说明 ，使用生成器比不使用生成器代码更加清晰：

1. 使用生成器以后，代码行数更少。大家要记住，如果想把代码写的Pythonic，在保证代码可读性的前提下，代码行数越少越好
2. 不使用生成器的时候，对于每次结果，我们首先看到的是result.append(index)，其次，才是index。也就是说，我们每次看到的是一个列表的append操作，只是append的是我们想要的结果。使用生成器的时候，直接yield index，少了列表append操作的干扰，我们一眼就能够看出，代码是要返回index。

这个例子充分说明了，合理使用生成器，能够有效提高代码可读性。只要大家完全接受了生成器的概念，理解了yield语句和return语句一样，也是返回一个值。那么，就能够理解为什么使用生成器比不使用生成器要好，能够理解使用生成器真的可以让代码变得清晰易懂。

注意事项：生成器只能遍历一次（母鸡一生只能下一定数量的蛋，下完了就死掉了）

 

 1 人口信息.txt文件内容

 2 {'name':'北京','population':10}

 3 {'name':'南京','population':100000}

 4 {'name':'山东','population':10000}

 5 {'name':'山西','population':19999}

 6

 7 def get_provice_population(filename):

 8     with open(filename) as f:

 9         for line in f:

10             p=eval(line)

11             yield p['population']

12 gen=get_provice_population('人口信息.txt')

13

14 all_population=sum(gen)

15 for p in gen:

16     print(p/all_population)

17 执行上面这段代码，将不会有任何输出，这是因为，生成器只能遍历一次。在我们执行sum语句的时候，就遍历了我们的生成器，当我们再次遍历我们的生成器的时候，将不会有任何记录。所以，上面的代码不会有任何输出。

18

19 因此，生成器的唯一注意事项就是：生成器只能遍历一次。

 

 

 

#_*_coding:utf-8_*_

__author__ = 'Linhaifeng'

 

def test():

    for i in range(4):

        yield i

 

g=test()

 

g1=(i for i in g)

g2=(i for i in g1)

 

print(list(g1))

print(list(g2))

 

 

 

def add(n,i):

    return n+i

 

def test():

    for i in range(4):

        yield i

 

g=test()

for n in [1,10]:

    g=(add(n,i) for i in g)

 

print(list(g))

 

 

 

import os

 

def init(func):

    def wrapper(*args,**kwargs):

        g=func(*args,**kwargs)

        next(g)

        return g

    return wrapper

 

@init

def list_files(target):

    while 1:

        dir_to_search=yield

        for top_dir,dir,files in os.walk(dir_to_search):

            for file in files:

                target.send(os.path.join(top_dir,file))

@init

def opener(target):

    while 1:

        file=yield

        fn=open(file)

        target.send((file,fn))

@init

def cat(target):

    while 1:

        file,fn=yield

        for line in fn:

            target.send((file,line))

 

@init

def grep(pattern,target):

    while 1:

        file,line=yield

        if pattern in line:

            target.send(file)

@init

def printer():

    while 1:

        file=yield

        if file:

            print(file)

 

g=list_files(opener(cat(grep('python',printer()))))

 

g.send('/test1')