哈喽大家好 我是阿喵,今天也是学习爬虫的一天
利用python写一个简单的笔趣阁爬虫,根据输入的小说网址爬取整个小说并保存到txt文件。爬虫用到了BeautifulSoup库的select方法
结果如图所示:
一、网页解析
这里以斗罗大陆小说为例 网址:
http://www.biquge001.com/Book/2/2486/
然后遍历列表
然后每章小说的内容都存放在<div id=“content” 里 同理得
- 1
最后同理在首页获取小说的名称
<"div id = info h1>
- 1
二、代码填写
1.获取Html及写入方法
2.其余代码
代码如下(示例):