zoukankan      html  css  js  c++  java
  • 后台数据scrapy爬取 和 Django 的orm 结合

    下载 scrapy 

    创建爬虫

    scrapy startproject 项目名

    cd 

    scrapy genspider 爬虫名 初始网址

    下载Django

    django-admin startapp 名字

    结合的地方

    scrapy  item中

    下载 scrapy_djangoitem

    import scrapy
    from scrapy_djangoitem import DjangoItem
    from ""Django的项目名"".models import ""创建的模型名""
    
    
    class KuwoItem(DjangoItem):
        django_model = ""创建的模型名""

    scrapy  蜘蛛.py 中

    item.save()

    scrapy 启动.py 中

    import os,django
    os.environ.setdefault("DJANGO_SETTINGS_MODULE", "kw.settings")# project_name 项目名称  kw为 蜘蛛名
    django.setup()
    
    
    from scrapy import cmdline
    cmdline.execute('scrapy crawl kw'.split(' '))

    Django 中

    创建模型

    Django   settings中

    注册应用

  • 相关阅读:
    函数进阶-生成器
    函数进阶-列表生成式
    闭包
    命名空间
    内置方法
    函数
    squid清除缓存
    subprocess实现管道
    Python统计脚本行数(fileinput)
    fabric note
  • 原文地址:https://www.cnblogs.com/eunuch/p/9367455.html
Copyright © 2011-2022 走看看