zoukankan      html  css  js  c++  java
  • 暑假周报告1

    上周主要学习了Python的相关知识

       1.Python基础知识

        2.基于Python的爬虫有关知识

    并且综合实战自己完成了一套中国疫情的监控系统,其中涉及的知识面还是很多的:

      1.Python的基本语法:字符串切片,元组定义,列表定义,字典定义,列表和字典的遍历,还有俩个列表合并为一个字典等等

       2.爬虫的基本知识,urlib发送请求,requests发送请求,以及数据提取和清洗,数据的提取主要用到了 xpath元素定位和selector元素定位,数据清洗是解析网页结构之后的基本操作

       3.Python与后台的MySQL交互,这一部分关键不是数据库的连接和关闭,而是sql语句的书写,以及查出数据之后的形式以及用列表,字典,元组等基本操作函数来把数据变成自己想要的形式

       4.用flask搭建web服务,并且通过ajax实现前端和后端的数据交互,这里最关键的是ajax向路由发送请求的时候要注意路径,默认的是 http://127.0.0.1:5000/+路由名称,必须写全才可以,只写路由名称会有404报错,无法得到数据(这个坑我找了整整2.5小时,太痛苦了),还有可能是flask跨域问题导致的,需要安装 flask_cors这个包.

       5.爬取百度7日热搜榜的全部内容,并且制作百度热词云图,学会了使用selnium爬取,并且分词的时候用到了“结巴”这个库很智能的将热搜内容进行分词。

    前几天学习的基本就是这么多,下周要开始大数据的学习。

    其中中国疫情监控系统后续还需要部署,以及使用crontab定时调度爬虫。

    疫情监控系统基本成型,但是还有几个地方需要修改,目前成品如下:

  • 相关阅读:
    多说社交评论插件学习《一》
    《转》每天起床时,优秀创业者都会问自己这3个问题
    老赵面试题参考答案(二)《转》
    老赵面试题参考答案(一)《转》
    20个开源项目托管站点推荐
    .NET面试题(二)
    .NET面试题(一)
    Python笔记(28)-----继承
    pytorch实战(2)-----回归例子
    深度学习之入门Pytorch(1)------基础
  • 原文地址:https://www.cnblogs.com/g414056667/p/13431516.html
Copyright © 2011-2022 走看看