网络爬虫基础练习

# -*- codding: UTF-8 -*-
# -*- author: WF -*-
import requests
from bs4 import BeautifulSoup
#利用requests.get(url)获取网页页面的html文件
url = 'http://localhost:63342/pythonWork/index.html?_ijt=oi242nfmu8kn21bmo5plk73q6h'
res = requests.get(url) #返回response对象
res.encoding = 'utf-8'
'''print(res.text)'''
#利用BeautifulSoup的HTML解析器，生成结构树
soup = BeautifulSoup(res.text, 'html.parser')
test = soup.body
#找出特定标签的html元素
print(test)
print(test.p) #标签名，返回第一个
print(soup.head)
print(test.p.name)  #字符串
print(test.p.attrs) #字典，标签的所有属性
print(test.p.contents)  # 列表，所有子标签
print(test.p.text) #字符串
print(test.p.string)
print(test.select('li'))

#取得含有特定CSS属性的元素
print(test.select('#p1Node'))
print(test.select('.news-list-title'))

print(test.select('h1')[0]) #取出h1标签的文本
print(test.select('a')[0].attrs['href']) #取出a标签的链接
print(test.select('li')) #取出所有li标签的所有内容
#取出一条新闻的标题、链接、发布时间、来源
print(soup.select('title')[0].text)
print(test.select('a')[0].attrs['href'])
print(test.select('.news-list-info')[0].contents[0].text)
print(test.select('.news-list-info')[0].contents[1].text)