zoukankan      html  css  js  c++  java
  • Python爬虫-什么是爬虫?

    百度百科是这样定义爬虫的:

    网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫

    通俗的解释:

      打开一个网页,里面有网页内容吧,想象一下,有个工具,可以把网页上的内容获取下来,存到你想要的地方,这个工具就是我们今天的主角:爬虫。

      打开浏览器(强烈建议谷歌浏览器),找到浏览器地址栏,然后在里敲网址https://music.163.com/,你会看到网页内容。

      鼠标在页面上点击右键,然后点击查看网页源代码(view page source)。看到这些文字了吗?这才是网页本来的样子。

      其实,所有的网页都是HTML+CSS+JavaScript代码,只不过浏览器将这些代码解析成了上面的网页,我们的小爬虫抓取的其实就是这些代码中的文本啦。
      这不合理啊,难不成那些图片也是文本?

      恭喜你,答对了。回到浏览器中有图的哪个tab页,鼠标右键,点击Inspect。会弹出一个面板,点击板左上角的箭头,点击虐狗图片,你会看到下面有红圈圈的地方,是图片的网络地址。图片可以通过该地址保存到本地哦。

      没错,我们的小爬虫抓取的正是网页中的数据,但是前提是你要知道你想要抓取什么数据,你的目标网站是什么,才可以把想法变成现实的哦。

      说了这么多,学习Python爬虫还是需要一定的基础知识呢?

      • HTML
        这个能够帮助你了解网页的结构,内容等。可以参考W3School的教程或者菜鸟教程

      • Python
        如果有编程基础的小伙伴儿,推荐看一个廖雪峰的Python教程就够了
        没有编程基础的小伙伴,推荐看看视频教程(网易云课堂搜Python),然后再结合廖雪峰的教程,双管齐下。
        其实知乎上总结的已经非常好了,我就不多唠叨了。知乎-如何系统的自学Python

      • TCP/IP协议,HTTP协议
        这些知识能够让你了解在网络请求和网络传输上的基本原理,了解就行,能够帮助今后写爬虫的时候理解爬虫的逻辑。
        廖雪峰Python教程里也有简单介绍,可以参考:TCP/IP简介HTTP协议

       注(参考):https://www.cnblogs.com/Albert-Lee/p/6226699.html

  • 相关阅读:
    dir 函数
    模块的 __name__
    from..import 语句
    pass
    可变参数
    python 中的一点新知识
    Numpy中的一点小知识
    使用ipython %matplotlib inline
    numpy.random.rand
    Python:numpy中shape和reshape的用法
  • 原文地址:https://www.cnblogs.com/MakeView660/p/9577175.html
Copyright © 2011-2022 走看看