题外话:
今天有人说我像一只咸鱼,我承认我已经变成了咸鱼,那么又有人问我了“咸鱼翻身” 是什么意思
我答:“为了晒得更均匀” -- 哎,已经很黑,不想再黑
第一步:
安装beautifulsoup 前提,你的系统支持pip安装方式 否则去百度 (我好像之前也写过,忘记了)
一个警告Pycharm 工具中
原因是
此段:from_encoding="utf-8"
是多余的,删除后,执行就没有警告
上面是,没有用框架的请求-获取-解析-打印,可以百度出一堆代码,就是没得详细的部分
第三方包
Urllib 和Urllib2有什么区别
urllib和urllib2
urllib 和urllib2都是接受URL请求的相关模块,但是urllib2可以接受一个Request类的实例来设置URL请求的headers,urllib仅可以接受URL。
这意味着,你不可以伪装你的User Agent字符串等。
urllib提供urlencode方法用来GET查询字符串的产生,而urllib2没有。这是为何urllib常和urllib2一起使用的原因。
目前的大部分http请求都是通过urllib2来访问的
httplib
httplib实现了HTTP和HTTPS的客户端协议,一般不直接使用,在python更高层的封装模块中(urllib,urllib2)使用了它的http实现。
这里会出现用python3 安装Urllib2 ,因为你需要模仿用户访问
还有一个Urllib4,5 我没试,我把Urllib3 安装了一下
安装的时候就会提示你找不到
不能用2 那你就用3吧
安装Urllib3
更换了一个工具采用了VS2019社区版
反正都安装不了urllib2 -- 难过了
安装一个自动测试包
pip install selenium
失败
换了个方式下载了.whl文件,安装
这样就可以了,是不是我的网有问题?
首先scrapy的安装之前需要安装这个模块:wheel、lxml、Twisted、pywin32,最后在安装scrapy
慢慢安装了
为什么要用框架呢,因为很多东西都写好了,我懒
安装Twisted 东西的时候提示出了一个c++的错误,没事的,我安装vs的时候把c++ 扩展需要的东西更新了一下,再次安装Twisted 就可以通过了(怎么更新不用我再写了吧) 汗。。。
(反正安装VS2019的更新需要时间,耐心了)
OK了,基本环境安装好了