15 Beautiful Soup（提取数据详解find_all()）

# 1、获取所有tr标签
# 2、获取第2个tr标签
# 3、获取所有class等于even的tr标签
# 4_1、将所有id等于test,class也等于test的所有a标签提取出
# 4_2、获取所有a标签下href属性的值
# 5、获取所有的职位信息（纯文本）

# 1、获取所有tr标签

from bs4 import BeautifulSoup
text = """
<table class="tablelist" cellpadding="0" cellspacing="0">
    <tbody>
        <tr class="h">
            <td class="l" width="374">职位名称</td>
            <td>职位类别</td>
            <td>人数</td>
            <td>地点</td>
            <td>发布时间</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="blank"
href="https://www.baidu.com/">研发工程师（上海1）</a></td>
            <td>技术类</td>
            <td>1</td>
            <td>上海</td>
            <td>2020-1-1</td>
        </tr>
        <tr class="odd">
            <td class="l square"><a target="blank"
href="https://www.baidu.com/">工程师（北京2）</a></td>
            <td>技术类</td>
            <td>2</td>
            <td>北京</td>
            <td>2020-2-2</td>
        </tr>
        <tr class="even">
            <td class="l square"><a target="blank"
href="https://www.baidu.com/">工程师（上饶3）</a></td>
            <td>管理类</td>
            <td>3</td>
            <td>上饶</td>
            <td>2020-3-3</td>
        </tr>
    </tbody>
</table>
"""

soup = BeautifulSoup(text, 'lxml')
# 1、获取所有tr标签
trs = soup.find_all('tr')
for tr in trs:
    print(tr)
    print('='*30)

# 2、获取第2个tr标签

# 2、获取第2个tr标签
# limit参数指限制多少个标签提取
tr2 = soup.find_all('tr', limit=2)[1]
print(tr2)

# 3、获取所有class等于even的tr标签

# 3、获取所有class等于even的tr标签
# class为python关键字，后面加_加以区分
trs = soup.find_all('tr', class_ = 'even')
for tr in trs:
    print(tr)
    print('='*30)

#方法二：
trs = soup.find_all('tr', attrs={'class':'even'})
for tr in trs:
    print(tr)
    print('='*30)

# 4_1、将所有id等于test,class也等于test的所有a标签提取出

# 4_1、将所有id等于test,class也等于test的所有a标签提取出
# 方法一：
alists1 = soup.find_all('a', attrs={'id':'test', 'class':'test'})
print(alists1)
# 方法二
alists2 = soup.find_all('a', class_='test', id='test')
print(alists2)

# 4_2、获取所有a标签下href属性的值

# 4_2、获取所有a标签下href属性的值
ahs = soup.find_all('a')
for ah in ahs:
    # 方法一：通过下标操作
    href1 = ah['href']
    print('href1={}'.format(href1))
    # 方法二：通过属性操作
    href2 = ah.attrs['href']
    print('href2={}'.format(href2))

# 5、获取所有的职位信息（纯文本）

# 5、获取所有的职位信息（纯文本）
trs = soup.find_all('tr')[1:]   # 从第二个tr开始获取
movies = []
for tr in trs:
    movie = {}
    tds = tr.find_all('td')
    title = tds[0].string
    category = tds[1].string
    num = tds[2].string
    city = tds[3].string
    time = tds[4].string
    movie['title'] = title
    movie['category'] = category
    movie['num'] = num
    movie['city'] = city
    movie['time'] = time
    movies.append(movie)

print(movies)

# 5、获取所有的职位信息（纯文本）方法二：推荐

trs = soup.find_all('tr')[1:]   # 从第二个tr开始获取
movies = []
for tr in trs:
    movie = {}
    # 获取tr下所有非标签字符
    # infos= list(tr.strings)
    # 获取tr下所有非标签&非空白字符
    infos = list(tr.stripped_strings)
    #print(infos)
    movie['title'] = infos[0]
    movie['category'] = infos[1]
    movie['num'] = infos[2]
    movie['city'] = infos[3]
    movie['time'] = infos[4]
    movies.append(movie)

print(movies)

附：关于string、strings、stripped_strings属性以及get_text()方法：

string:　　　　　　获取某个标签下的非标签字符串，返回值是一个字符串。

strings:　　　　　  获取某个标签下的子孙非标签字符串，返回值是一个生成器。

stripped_strings:　 获取某个标签下的子孙非标签字符串并去掉空白字符，返回值是一个生成器。

get_text():　　　    获取某个标签下的子孙非标签字符串，不是以列表的形式返回，是以普通字符串返回。