zoukankan      html  css  js  c++  java
  • Python爬虫(一)


    花了四天的时间用python写了个简单的爬虫程序。整个过程分为两个部分:工具的安装和程序的实现

    本文并没有讲程序的详细实现遇到的问题,而是对着手前一些前期的准备

    第一部分(工具的安装)

    开发工具的下载安装MySql + MySQLWorkbench +PyCharm (可參考)

    第二部分(程序实现部分)

    mac os x下python安装MySQLdb模块

    在整个程序进行開始前,爬虫须要的Python模块主要是MySQLdb模块

    安装这个模块也花了点时间,其安装步骤例如以下:

    1、在以下的网址下载mysqldb模块:

    http://sourceforge.net/projects/mysql-python/    


    2、在mac os x直接双击解压,在终端进入安装文件夹, 运行python setup.py build


    假设出现   sh: mysql_config: command not found等错误时,能够解决办法:

    在默认方式安装 Mac 版 MySql 时,会在 /usr/local/mysql/bin 文件夹下生成 mysql_config 文件。

    因此下载安装时的解决的方法为:在 MySQL-python 的安装包中找到 site.cfg 文件,打开它,找到下面内容:

    # The path to mysql_config.

    # Only use this if mysql_config is not on your PATH, or you have some weird

    # setup that requires it.

    # mysql_config = /usr/local/bin/mysql_config


    将最后一句句首井号去掉,并改动为:

    mysql_config = /usr/local/mysql/bin/mysql_config

      

    然后运行:


    $ python setup.py install


    可能会出现Reason: image not found 错误,解决 Reason: image not found 错误例如以下:

    解决方法是在终端运行:


    $ sudo ln -s /usr/local/mysql/lib/libmysqlclient.18.dylib /usr/lib/libmysqlclient.18.dylib

    $ sudo ln -s /usr/local/mysql/lib /usr/local/mysql/lib/mysql


    sudo ln -s /usr/local/mysql/lib/libmysqlclient.18.dylib /usr/lib/libmysqlclient.18.dylib


    注意在mac 下安装这些东西时,在涉及到配置文件的改动时,须要知道怎么使用vim

    mac os x下python安装MySQLdb模块 真可谓千辛万苦,最后在终端和Pycharm环境下都能够应用这个模块,而且能够链接操作数据库。


    程序的详细实现待续   Python爬虫(二)



    參考博客:


    http://www.cnblogs.com/ifantastic/archive/2013/04/13/3017677.html


    http://www.codeif.com/post/1073/

  • 相关阅读:
    阅读任务
    自我介绍
    学习总结
    第十二周课程总结
    第十一周课程总结
    第十周课程总结
    第九周课程总结&实验报告(七)
    第四周课程总结&实验报告
    第3周Java编程总结
    学习总结
  • 原文地址:https://www.cnblogs.com/hrhguanli/p/4069504.html
Copyright © 2011-2022 走看看