css中
身份证 id对应#
衣服 class对应 .
图片
pyquery。。。as pq
html= request.get(url=''.....'')
doc=pq(html)
doc("#dq_list > li").items() tems()拿到所有子元素
for item in items:
url= item.find('img').attr("lz_src")
url_content= requests.get(url= url).content
name= item.find('.kp-name').text()
with open("./xxxxx")+name+".jpg","wb")as f:
file.write(url_content)
马赛克合成工具foto
css选择器
1.元素选择器 直接选择文档元素，如head p 这些
2.类选择器 对<h1 class="important">，类名就是important .important就是选择所有这个类属性的元素 可结合元素选择器，比如p.important
3.id选择器 对<h1 id="intro"> id就是important #intro就是选择id=intro的元素 可结合元素选择器，比如p.#intro
类选择器可以全局共享，但是i同一d一个文档只能出现一次，是全局唯一的，不能使用单词列表
与类选择器一样都区分大小写
4.属性选择器 选择有某一个属性的元素，而不论值是什么 *[title]选择所有包含title的元素 a[herf]选择所有带有href属性的锚元素
可以选择多个元素a[herf][title]这里是and属性，要同时满足
限定值a[href="www.baidu.com"]
5.后代选择器 选择某一个元素后代的元素（在层级上面没有限制） h1 em
6.子元素选择器 范围限制在子元素 h1 > strong
Xpath
基本节点：元素、属性文本、命名空间、处理指令、注释以及根节点
节点之间的关系：父 子 兄弟 先辈 后代
nodename选取此节点的所有子节点
/从根节点选取
//从匹配的当前的节点选择文档中的节点，不考虑它们的位置
.选取当前节点
..选取当前节点的父节点
@选取属性
Xpath的谓语很强大，写在[]里面
/bookstore/book[1]选第一个book元素
/bookstore/book[last()]最后一个book元素
/bookstore/book[position()<3]选前两个
//title[@lang]选择的所有有名字为lang的属性的title属性
/bookstore/book[price>35.00]
Json 让xml简单化
import jason
obj = {'one':1,'two':2,'three':[1,2,3]}
encoded= jason.dumps(obj) 变成str
decoded= json.loads(encoded) 变成dict
xml处理
1.DOM方法 整个读取 量小的话还行，但是性能其实很慢
from xml.dom import minidom doc = minidom.parse('book.xml') root = doc.documentElement print(root.nodeName) books = root.getElementsByTagName('book') for book in books: titles = book.getElementsByTagName('book') #这里拿到的是一个数组 title = titles[0].childNodes[0].nodeValue print(title)
2.SAX流模式 边读边解析 层级关系必须自己弄 在数据库中用的比较多吧
import string from xml.parsers.expat import ParserCreate class DefaultSaxHandler: def start_element(self,name,attrs): self.name = name print('elements:%s, attrs: %s'%(name,str(attrs))) def end_element(self,name): print('end elements:%s')%name) def end_element(self,name): if text.strip() print("%S's text is %s")%(self.name,text)) handler = DefaultSaxHandler() parser= ParserCreate() parser.StartElementHandler = handler.start_element #<book> parser.EndElementHandler = handler.end_element #</book>
parser.CharacterDataHandler = handler.char_data #<title>character</title>
with open('book.xml','r') as f:
parser.Parser(f.read())
正则表达式
基本匹配规则 不多复述
一些规则：
*匹配前面的字符或者表达式0词或者多次
+匹配前一个字符至少一次
？匹配前一个字符至少0次或者1次
^匹配字符串开头
$匹配字符串结束
import re mr= re.match(r'd{3}-d{3,8}','010-223456') print(mr.string) m = re.match(r'(d{3}-d{3,8})$','010-223456') print(mr.groups()) print(mr.group(0)) #原始字符串
t ='20:15:45'
m = re.match(r'^(0[0-9]|1[0-9]|2[0-3]|[0-9]):(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9]):(0[0-9]|1[0-9]|2[0-9]|3[0-9]|4[0-9]|5[0-9]|[0-9])$',t)
print(m.groups())
#分割字符串 p= re.complie(r'd+') #先写好匹配的路径，生成python对象
print(p.split('one1two22three333'))
selenium简单爬虫使用
主要是运用以下的两个代码来爬取数据，其他的相关基本设置就看一下下面的案例
find_element(s)_by_tag_name
find_element(s)_by_css_selector
improt time from selenium import webdriver browser = webdriver.Chrome() browser.set_page_load_timeout(30) browser.get('xxxxxxxxxxxxxxxxx') page_info = browser.find_element_by_csss_selector('这里贴谷歌网页中的css路径') #目标信息假设是 共48页，每页24条 pages = int((page_info.text.split(', ')[0]).split(' ')[1]) #这样就取到了48这个数字 print('商品一共有%d页'%pages) for i in range(pages): if i >2: break url = ' xxxxxxxxxxxxx'+str(i+1) browser.get(url) browser.execute_script("windows.scrollTo(0,document.body.scrollHeight);")
time.sleep(2)
goods = browser.find_element_by_css_selector("xxxx主标签xxxx").find_elements_by_tag_name('li')
print('第%d页有%d件商品'%((i+1),len(goods))
for good in goods:
try:
title = good.find_element_by_css_selector('.....').text
price = good.find_element_by_css_selector('.....').text
print(title,price)
except:
print('ERROR')
但是我们也会发现，每一次爬取的时候都会跳出自动运行的浏览器
这其实是可以避免的，详细的可以参考我的学习笔记