zoukankan      html  css  js  c++  java
  • 爬虫框架scrapy

    1 #mac 安装scrapy
    2 pip install scrapy
    1 python 使用MySQL模块出现 ModuleNotFoundError: No module named 'mysql'
    2 解决方法 pip install mysql-connector
    3 
    4 python使用mysql出现 mysql.connector.errors.NotSupportedError: Authentication plugin 'caching_sha2_password' is not supported
    5 解决方法 pip install mysql-connector-python
    1 mac 安装软件。磁盘已坏,推出磁盘,应用不安全。
    2 解决方法 sudo spctl --master-disable

    python 爬虫知识

    1 resp = requests.get(url)
    2 #resp.text 和resp.content打印出的内容不同。前者经过自动解码,后者只是一个字节流。为什么?
    3 #resp.text自动解码的过程。
    4 #requests/adapt.py文件中的build_response方法返回服务器内容的解码方式。
    5 #build_response方法中get_encoding_from_header方法位于requests/utils.py文件中。具体解析出服务器内容的编码方式。返回build_response到response.encoding。
    6 #服务器没有说明编码的方式,则到requests/modules.py文件中有apparent_ecoding方法,里面有chardet。这是在服务器返回内容中查找是否有特殊码,于是解析出具体编码方式。
    1 resp有text,content,cookies,headers,history
    1 mysql_connector.MySQLInterfaceError: Python type list cannot be converted
    2 Python连接mysql时,由于写入到MySQL中的一个时间变量类型设置不匹配引发的错误。将DATE转为DATETIME即可执行。
    1 官网下载后的python程序在 /usr/local/cellar/python下。包括官网提供的IDE,python launch等。这其实就是类似于tomcat,nginx这些服务器的一种应用程序,里面有二进制可执行文件,有库函数等。
    2 
    3 有了Python程序后,还不能直接运行使用Python编写的用户程序。需要框架的作用。链接一些库函数才能真正执行。
    4 下载的框架路径 /usr/local/Frameworks/python.framework 
    5 
    6 编写一些Python程序,需要用到一些第三方的Python库。安装到MAC的位置
    7 /usr/local/bin,/usr/local/lib/python3.7/site-packages
  • 相关阅读:
    hdoj-1004-Let the Balloon Rise(水题)
    hdoj-1827-Summer Holiday(scc+缩点)
    poj--3624--Charm Bracelet(动态规划 水题)
    HDU
    HDU
    HDU
    HDU
    【POJ1654】Area【叉积】
    【POJ1654】Area【叉积】
    【SSLOJ1715】计算面积【叉积】
  • 原文地址:https://www.cnblogs.com/feng1014/p/12403930.html
Copyright © 2011-2022 走看看