第一次算是成功的爬虫小代码，花了挺长时间的。
目的：
获取淘宝mm图片
现存问题：
无法获取动态加载的图片，只能得到打开网页后存在的图片
虽然更换代理仍禁止访问
收获：
对爬虫的思路相对来说更清晰了——想爬什么，这东西有什么规律，怎么体现在网页上的，如何抓取
增强了对python基础知识的掌握 1，文件写入的方法 2，json被加载时所需要的条件 3，列表，元组，字典
4，网络请求的基本操作 5，基础的应对反爬机制的方法
1 import json
2 import urllib.response
3 import urllib.request
4 import re
5 import random
6 from json import loads
7 import os
8
9 #请求头数组
10 headerstr = '''Mozilla/5.0(Macintosh;IntelMacOSX10.6;rv:2.0.1)Gecko/20100101Firefox/4.0.1
11 Opera/9.80(Macintosh;IntelMacOSX10.6.8;U;en)Presto/2.8.131Version/11.11
12 Mozilla/4.0(compatible;MSIE7.0;WindowsNT5.1;360SE)'''
13 #获取请求头
14 def headers():
15 header = headerstr.split('
')
16 length = len(header)
17 return header[random.randint(0,length-1)]
18
19 #返回基本信息和user_id
20 def getUrlList():
21 req = urllib.request.Request('https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8')
22 req.add_header('User-Agent', headers())
23 html = urllib.request.urlopen(req).read().decode('gbk')
24
25 #加载json，html解码后才能加载到json中
26 # 注：目前只知道{}内的可以转成json，其余情况未知
27 # 注：[]是列表,()是元组，{}是字典
28 json = loads(html)
29
30 return json['data']['searchDOList']
31
32
33 #获取mm相册的代号所在的url
34 def getAlbumCode(userId):
35 req = urllib.request.Request('https://mm.taobao.com/self/album/open_album_list.htm?_charset=utf-8&user_id%%20=%s' % userId)
36 req.add_header('User-Agent', headers())
37 html = urllib.request.urlopen(req).read().decode('gbk')
38 reg = r'class="mm-first" href="//(.*?)"'
39
40 return re.findall(reg, html)[::2]
41
42
43 #获取mm相册的代号
44 def getAlbumInner(code):
45 reg = 'd+'
46 result= re.findall(reg,code)
47 return result[1]
48
49
50 #获取图片地址并保存图片到个人文件夹
51 def getpic(userId,album_id,Album_num,content):
52 #因为下滑可以加载图片，准备将page=1,2,3...的情况做出来，但目前而言由于未知的错误而无法进入page=2的情况，所以暂时搁浅，只选了page=1的情况
53 #这里的page无多少意义，可以忽略
54 page=1
55
56 #index表示下面for循环中在json['picList']的列表中每个元素的指针
57 index = 0
58
59 req = urllib.request.Request('https://mm.taobao.com/album/json/get_album_photo_list.htm?user_id=%s&album_id=%s&page=1'%(userId,album_id))
60 req.add_header('User-Agent', headers())
61 html = urllib.request.urlopen(req,timeout=5).read(
62 ).decode('gbk')
63 json = loads(html)
64
65 #json['picList']是一个列表，要通过循环遍历出来每个元素
66 for it in json['picList']:
67 index += 1
68
69 #通过比较url发现大图与小图之间的差距在于290与620，所以直接替换就可以啦
70 picUrl=re.sub('290','620',it['picUrl'])
71
72 #获得的url无法直接写入文件，观察后发现直接加http:就行了
73 pic = 'http:'+picUrl
74
75 #open打开的是将要写入的文件的绝对路径或者说是相对路径
76 contex = urllib.request.urlopen(pic).read()
77 with open(content+"\"+str(Album_num)+'-'+str(page)+'-'+str(index)+".jpg",'wb') as f:
78
79 f.write(contex)
80
81 #先加个代理
82 proxy_support = urllib.request.ProxyHandler({'http': '124.93.87.140:80'})
83 opener = urllib.request.build_opener(proxy_support)
84 urllib.request.install_opener(opener)
85
86 json = getUrlList()
87 for i in json:
88 userId = i['userId']
89 realName = i['realName']
90 city = i['city']
91 height = i['height']
92 weight = i['weight']
93 print (u'发现一位美女，她的名字叫：' +realName, '身高：'+height + 'm','体重：'+ weight + 'kg',u'她现在的居住在-' + city)
94 # 根据mm名字创建文件夹
95 content = 'E:\demo\' + realName
96 if not os.path.exists(content):
97 os.mkdir(content)
98 print('正在为'+realName+'创建文件夹...')
99 #mm的第Album_num个相册
100 Album_num = 0
101 print('正在为你悄咪咪的保存她的图片...')
102 for j in getAlbumCode(userId):
103 code = j
104 album_id=getAlbumInner(code)
105 Album_num+=1
106 getpic(userId, album_id, Album_num,content)
107 print(realName+'的图片已经保存成功啦！')