【Python学习之旅】---爬虫（xpath表达式，爬取网络段子和贴吧图片）

#解析字符窜形式html

text='''
<div>
    <ul>
        <li class="item-1"><a href="link1.html">张三</a></li>
        <li class="item-2"><a href="link2.html">李四</a></li>
        <li class="item-3"><a href="link3.html">王五</a>
    </ul>
</div>
'''
from lxml import etree
# etree.HTML()将字符窜解析成特殊的html对象
html=etree.HTML(text)
# 将html对象转换成字符窜
res=etree.tostring(html,encoding="utf-8").decode()
print(res)


#解析本地html
#爬虫中网页处理方式：
    # 1、在爬虫中，数据获取和数据清洗一体，HTML()
    # 2、数据获取和数据清洗分开，parse()
html=etree.parse(r"123.html")
res=html.xpath("//a") #获取所有a标签中的内容
print(res[0].text)  #返回结果是一个列表对象地址，取任意一个元素，解析成文本格式



# #获取指定属性的标签
html=etree.parse(r"123.html")
res=html.xpath("//li/a[@href='link3.html']") #获取所有li标签下的a标签中指定属性包裹的信息
print(res[0].text)


#获取标签的属性
html=etree.parse(r"123.html")
res=html.xpath("//li/@class") #获取所有li标签中的calss属性值
res1=html.xpath("//li/a/@href")
print(res)  #直接生成列表，打印出来，因为属性值下没有其它的标签了
print(res1)
#一般情况下，需要拿到a标签下href中的网址，
for i in res1:
    requests.get(i)



#获取子标签
from lxml import etree
html=etree.parse(r"123.html")
# res=html.xpath("//li/a") #获取所有li标签下一级标签
# res1=html.xpath("//li//span") #获取所有li下所有符合的子标签
res2=html.xpath("//li//@href")  #获取所有li标签下的所有href属性
print(res2)



#获取标签名和内容
html=etree.parse(r"123.html")
res=html.xpath("//li[last()-1]/a") #获取倒数第二个a标签下的内容
res1=html.xpath("//li/a")
print(res1[-2].text)  #获取倒数第二个a标签下的内容，text表示获取标签内容

#获取class属性值为item-2的标签
html=etree.parse(r"123.html")
res=html.xpath("//*[@class='item-2']")
print(res[0].tag)   #tag表示获取标签名

#爬取段子中的文字部分

import requests
from lxml import etree
header={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36"}
url="https://ishuo.cn/"
txt=requests.get(url,headers=header).text
html=etree.HTML(txt)
res=html.xpath('//div[@class="info"]/a') #获取所有div标签下倒数第一个a标签中href属性值
print(res[0].text)

#https://ishuo.cn/subject/5899

for i in res:
    xurl="https://ishuo.cn"+i
    resp2=requests.get(xurl).text
    html2=etree.HTML(resp2)
    res2=html2.xpath("//div[@class='content']")  #获取div标签下class属性值为content的内容，段子中的文字部分
    print(res2[0].text)



#爬取贴吧中的图片
import urllib
from urllib import request
from lxml import etree
class Spider():
    def __init__(self):
        self.tiebaName="周杰伦"
        self.beginpage=1
        self.endpage=3
        self.url="http://tieba.baidu.com/f?"
        self.ua_header={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.87 Safari/537.36;"}
        self.filename=1
    #构造url
    def tiebaspider(self):
        for page in range(self.beginpage,self.endpage+1):
            pn=(page-1)*50
            wo={"kw":self.tiebaName}
            word=urllib.parse.urlencode(wo)  #构造URL编码
            myurl=self.url+word+"&pn="+str(pn)           #形成完整的URL
            self.loadpage(myurl)             #调用下一个方法，传入url

    #爬起网页内容
    def loadpage(self,url): #接收上一个方法传入的myurl参数
        req=request.Request(url,headers=self.ua_header)
        data=request.urlopen(req).read().decode()
        print(data)  #打印所爬取的3页网页的信息
        html_new = data.replace(r'<!--', '"').replace(r'-->', '"')  #将网页内容的注释取消
        html=etree.HTML(html_new)
        links=html.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href')
        print(links)
        for link in links:
            link="http://tieba.baidu.com"+link
            self.loadImages(link)


    #爬取图片所在的链接
    def loadImages(self,link):
        req=request.Request(link,headers=self.ua_header)
        data=request.urlopen(req).read()
        # print(data)
        html=etree.HTML(data)
        links=html.xpath('//img[@class="BDE_Image"]/@src') #获取图片的链接
        print(links)
        for link in links:
            self.writeImages(link)

    #通过图片所在的链接，将图片写入到本地
    def writeImages(self,imageslink):

         print("正在下载图片：",self.filename,"...")
         resp=request.urlopen(imageslink).read()
         with open(r"D:软件pythonpython_workPython_day17图片下载\"+str(self.filename)+".jpg","wb") as f:
            f.write(resp)
         self.filename+=1

if __name__=='__main__':
    mySpider=Spider()
    mySpider.tiebaspider()