python3 利用urllib请求返回数据是经过压缩的,在利用‘zlib’解压时遇到"zlib.error: Error -3 while decompressing data: incorrect header check"的错误。
代码如下:
postdata = urllib.parse.urlencode({ 'qstartdate':'2017-11-08', 'qenddate':'2017-11-13' }).encode('utf-8') header = { 'User-Agent':' Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0','Referer':' http://cnnvd.org.cn/web/vulnerability/queryLds.tag' } cnnvd_html = urllib.request.Request(url,headers=header,data=postdata) cnnvd_html = urllib.request.urlopen(cookie_html) cnnvd_html = zlib.decompress(cookie_html.read(),16+zlib.MAX_WBITS) print (cnnvd_html)
运行时出现错误:incorrect header check,头部校验错误。网上找了好一会,没发现有解决问题的。再回头认真读了几遍错误提示。。。原来头部 header 加上编码'Accept-Encoding': 'gzip, deflate'就可以了。也就是先要声明需要解析对象进行了gzip的压缩。
代码如下:
postdata = urllib.parse.urlencode({ 'qstartdate':'2017-11-08', 'qenddate':'2017-11-13' }).encode('utf-8') header = { 'User-Agent':' Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:56.0) Gecko/20100101 Firefox/56.0', 'Accept-Encoding': 'gzip, deflate', 'Referer':' http://cnnvd.org.cn/web/vulnerability/queryLds.tag' } cnnvd_html = urllib.request.Request(url,headers=header,data=postdata) cnnvd_html = urllib.request.urlopen(cookie_html) cnnvd_html = zlib.decompress(cookie_html.read(),16+zlib.MAX_WBITS) print (cnnvd_html)