BeautifulSoup学习笔记

1.如果tag最内层只有一个 NavigableString 类型子节点,那么这个tag可以直接使用tag.string 得到子节点

# encoding=utf-8

from bs4 import BeautifulSoup

html='''
<td>直接是 可遍历的字符串</td>
<td><a href="#">包含a标签的可遍历字符串</a></td>
<td><div><a href="#">包含a标签和div的可遍历字符串</a></div></td>
'''
soup=BeautifulSoup(html,'html.parser')
tds=soup.find_all('td')
for td in tds:
    print 'td:'+str(td)
    print 'string:'+td.string
#  总结：如果tag（及其子tag或子孙tag中）只有一个 NavigableString 类型子节点,
# 那么这个tag可以直接使用tag.string 得到子节点 不用写 子孙tag.string

 2.使用频率较高的get_text()方法，可获取tag和子孙tag中的内容

如果只想得到tag中包含的文本内容,那么可以用 get_text() 方法,这个方法获取到tag中包含的所有文本

内容包括子孙tag中的内容,并将结果作为Unicode字符串返回。

在爬药智网的时候因为对该方法不熟练，多写了好多代码╮(╯▽╰)╭

html= '<a href="http://example.com/">
I linked to <i>example.com</i>
</a>'
soup = BeautifulSoup(html,'html.parser')

#直接得到所有的文本，中间包含其他标签也可以
soup.get_text()
 #u'
I linked to example.com
'
soup.i.get_text()
#u'example.com'
#使用最多的还是去除文本中的前后空白
soup.get_text("|", strip=True)
#u'I linked to|example.com'