zoukankan      html  css  js  c++  java
  • SSH框架调用scrapy爬虫

    毕设刚答辩完毕,不用担心查重了,所以补一篇毕设的内容。

    毕设是图片搜索网站,使用python爬虫获取图片资源,再由javaweb管理使用图片的信息和图片,大部分实现起来十分简单,也不好意思炫耀。但是有些地方还是有自己的想法,所以记下来供以后参考。

    创新之处就在于整合了SSH和scrapy两个相互独立的框架,整合好的框架图如下:

     方法是把写好的scrapy爬虫部署到scrapyd应用程序上,关于scrapyd应用程序的安装网上有很多资料,然后是启动和关闭爬虫,是通过控制台运行curl命令实现的,关于curl网上也有很多资料。

    对于两个框架之间的传值是通过数据库实现的。

    这样做的优点是两个独立的模块可以同运行,增快整体的速度,其次后期维护起来十分方便,这就是解耦带来的好处。

  • 相关阅读:
    在Unity3D中开发的Hologram Shader
    在Unity3D中开发的Toon Shader
    在Unity3D中开发的Dissolve Shader
    2017.2.26
    2017.2.21
    2017.2.20
    2017.2.19
    2017.2.18
    2017.2.17<转>
    2017.2.16 linux
  • 原文地址:https://www.cnblogs.com/zhxuxu/p/9217679.html
Copyright © 2011-2022 走看看