pyhton——爬小说网站（顶点最强*生）

一直想做个爬虫，用.net尝试过。一直在.net平台上转悠。没有尝试过其他语言。因为懂得越来越觉得自己懂得少。最近遇到了瓶颈。就尝试使用别得语言

来扩展自己得思路。希望能突破瓶颈，达到另一个高度把。作为程序员，永远都是说得再多看得再多，不如敲几行代码来的实在。

我是看小说的，应该是老了吧，现在很少的小说符合自己了。我是穷人看的是盗版。（^_^但是我不喷作者，因为我不看正版）言归正传。

1： 首先在python官网上下载python3.X版本。（选择操作系统，选择要下载的版本）。（安装有问题请自行百度）

2： 编辑器，作为.net 死忠。肯定首选Visual studio Code。安装python 插件。新建项目文件 xiaoshuo

3：作为爬下来的东西，要保存到txt文件中（或者别的你可以喜欢的）。所以新建个文件夹FileManager

4:  在FileManager文件夹下新建FileWrite.py 代码如下：

def CreatFile(filename):
    with open(filename +".txt",'w',encoding='utf-8',errors='ignore') as f:
        f.writelines("           " + filename + "        " + '
')
def appointchapter(filename, context):
    with open(filename +".txt",'a',encoding='utf-8',errors='ignore') as f:
        f.writelines(context + '
')

5：爬下来的东西解析，这里没有使用第三方插件。（本来python 有个很好的html 解析插件，但是公司的网络好像屏蔽掉了，一直下载不下来，所以改成正则。原理应该是相同的）

     新建RegularExpression 文件夹，新建Regular.py文件 代码如下：

 

import re
# 获取小说名字
reName = re.compile(r'<h1>.+?(?:</h1>)',re.DOTALL)
#获取小说章节目录 
rechapterLi = re.compile(r'<table.+?(?:</table>)',re.DOTALL)
#获取小说单个章节目录
rePage = re.compile(r'<a.+?(?:</a>)',re.MULTILINE)
#获取小说单个章节链接
rePageUrl = re.compile(r'[d]+.+?(?:html)',re.DOTALL)
#获取小说章节名字
reTitle = re.compile(r'<dd><h1>.+?(?:</h1></dd>)',re.DOTALL)
#获取原始的章节内容
reContent =re.compile(r'<dd id="contents".+?(?:</dd>)',re.DOTALL)

def DoHtmlToTxt(htmlstr):
    txt = re.sub('&nbsp;',' ',htmlstr)
    txt = re.sub('<br />','
',txt)
    txt = re.sub(r'<.+?(?:>)','',txt)
    return txt
def DelHtmlCoding(htmlstr):
    txt = re.sub(r'<.+?(?:>)','',htmlstr)
    txt = re.sub(r'最新.+?(?:列表)','',txt)
    txt = re.sub(' ','',txt)
    return txt

6： 新建文件夹WebManager。在WebManager 中新建HttpContext.py 用来管理和处理http请求。代码如下：

   

import urllib
import urllib.request
def GetHtmlContent(html,endcoding):
    try:
        request =  urllib.request.Request(html)
        response = urllib.request.urlopen(request)
        data = response.read()
        data = data.decode(endcoding)
        return data
    except Exception as e:
        with open('erro.txt','a',encoding='utf-8') as f:
            f.writelines('抓取报错' + html)
            f.writelines('报错原因' + e)
            return '0'
    except URLError as e:
        with open('erro.txt','a',encoding='utf-8') as f:
            f.writelines('抓取报错' + html)
            f.writelines('报错原因' + e)
            return '0'
    

7： 好了准备工作好了，现在在xiaoshuo 文件夹下，新建Main.py。代码如下：

import RegularExpression.Regular
import FileManager.FileWrite
import WebManager.HttpContext
#htmlurl = 'https://www.x23us.com/html/69/69720/'
htmlurl = 'https://www.23us.cc/html/173/173244/'
htmltxt = WebManager.HttpContext.GetHtmlContent(htmlurl,'gbk')
if htmltxt != '0':
    titlehtml = RegularExpression.Regular.reName.search(htmltxt).group()
    title =  RegularExpression.Regular.DelHtmlCoding(titlehtml)
    FileManager.FileWrite.CreatFile(title)
    chaptercontent = RegularExpression.Regular.rechapterLi.search(htmltxt).group()
    if chaptercontent:
        chapterli = RegularExpression.Regular.rePage.finditer(chaptercontent)
        if chapterli:
            for m in chapterli:
                pageurl = RegularExpression.Regular.rePageUrl.search(m.group()).group()
                htmlpagetxt =  WebManager.HttpContext.GetHtmlContent(htmlurl + pageurl,'gbk')
                if htmlpagetxt != '0':
                    pageName = RegularExpression.Regular.reTitle.search(htmlpagetxt).group()
                    pageContent = RegularExpression.Regular.reContent.search(htmlpagetxt).group()
                    pageName = RegularExpression.Regular.DelHtmlCoding(pageName)
                    pageContent = RegularExpression.Regular.DoHtmlToTxt(pageContent)
                    txt = '
'+ pageName +'
' + pageContent
                    FileManager.FileWrite.appointchapter(title,txt)
                else:
                    continue
            print('下载成功!')

备注： 由于只是尝试，所以有很多可以扩展的地方。大家多多包涵