写爬虫时遇到的问题及解决方法

最近在开发个用于信息收集的小工具，第一次做爬虫，在爬取网页时遇到了几个问题，查资料了解一下。

一、关于查看网页源代码和F12内容不一致的问题

查看网页源代码：就是别人服务器发送到浏览器的原封不动的代码，也是爬虫获得的代码。

F12：在源码中找不到的代码（元素），是在浏览器执行js时动态生成的，通过F12看到的就是浏览器处理过的最终的html代码。

解决方法：

1.直接从JavaScript中采集加载的数据，用json模块处理；

2.直接采集浏览器中已经加载好的数据，借助工具PhantomJS。

 二、关于浏览器访问正常，爬虫爬取出现验证的问题

解决方法：

伪造浏览器访问

url = ""
request = urllib.request.Request(url)
request.add_header('User-Agent','Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36')
response = urllib.request.urlopen(request)
html = response.read()
html = str(html,'utf-8')#爬取的网页源代码编码

三、python抓取数据时会自动转义

解决方法：

headers = {
    'Host': '',
    'User-Agent': '',
    'Cookie': ''    
}
url = ''
domain = ''
data = {
    'target':domain
}
data = urllib.parse.urlencode(data).encode("utf-8")
req = urllib.request.Request(url=url, data=data, headers=headers)#post提交
res = urllib.request.urlopen(req)
html = res.read().decode('utf-8')
html = html.replace("\\",'\')#\换成
html = eval("'{}'".format(html))#python抓取数据时会自动转义，反转义功能

 四、requests请求时，为了避免ssl认证，将verify=False，但日志中会有大量的warning信息

解决方法：

在请求的时候加一行代码

 requests.packages.urllib3.disable_warnings()
 response = requests.get(url, params=params, headers=headers, verify=False)

五、实现跨文件的全局变量

解决方法：

先定义一个全局变量模块 globalvar.py

def _init():
    global _global_dict
    _global_dict = {}

def set_value(name, value):
    _global_dict[name] = value

def get_value(name, defValue=None):
    try:
        return _global_dict[name]
    except KeyError:
        return defValue

设置全局变量模块  a.py

import sys
import globalvar as gl

gl._init()
gl.set_value('name', 'cc')
gl.set_value('score', 90)

获取全局变量  b.py

import globalvar as gl

name = gl.get_value('name')
score = gl.get_value('score')

print("%s: %s" % (name, score))

主程序

import a
import b

运行主程序文件，输出  cc: 90

六、正则表达式匹配任意字符（包括换行）

解决方法：

点符号匹配的是除了换行符以外的所有字符

可以用 ([sS]*?) 代替 (.*?)

七、ajax数据爬取及selenium添加cookie免登录

内容较多，另发一篇博客 https://www.cnblogs.com/wkzb/p/12850953.html

参考：

https://www.cnblogs.com/yuantup/p/9761534.html

https://blog.csdn.net/shenkunchang1877/article/details/79086886?utm_source=blogkpcl6

https://www.jianshu.com/p/5bb96ddfbdc8

https://www.cnblogs.com/rnckty/p/7722603.html

https://www.williamlong.info/archives/5781.html