zoukankan      html  css  js  c++  java
  • python 为抓取而生

    Python抓取优酷视频(上):爬虫使用及数据处理 - littlebai - 博客园

    Python抓取优酷视频(上):爬虫使用及数据处理

    缘起:

    上篇因为工作需要(就是把腾讯新闻copy到单位自己网站上去每天15条更新)所以写了一个抓取腾讯新闻的python小脚本

    这次是因为想用手机看youku视频,比如xiaoy的魔兽解说,但是打开浏览器输入game.youku.com的时候,三星9003太不

    给力,因而需要一个打开速度快的目录小网站。

    思路:

    1.数据表设计:

    id(int),                    //主键自增

    title(varchar 50),    //速度优先,只需要title,不需要图片

    href(varchar 50),   //视频播放地址

    date(varchar 25),  //采集的date中有如“1小时前”,因此也设计成varchar

    2.采集函数设计:

    视频列表页url = http://i.youku.com/u/UMTE0NDEzOTky/videos/order_1_view_1_page_id (id =1,2...)

    每页视频个数为20,采集内容为title,href,date,优酷的html很规整,因此正则提取很好写,详见代码。

    3.采集流程及入库:

    采用多线程采集,开9个进程,每个进程提取一个列表页20个视频,总共采集180个视频,如果想全站采集的话修改即可。

    数据库采用mysql,如何使python支持mysql详见Python网站建设,因为是多线程所以在插入数据的时候需要资源锁。

    关于python多线程thread以及资源锁,可以参照Python模块学习

    代码:

    复制代码
     1 #!/usr/bin/env python
     2 #coding=utf-8
     3 import urllib2
     4 import re
     5 import MySQLdb
     6 import thread
     7 import time
     8 #创建锁,用于访问数据库
     9 lock = thread.allocate_lock()
    10 #抓取函数
    11 def fetch(id=1,debug=False):
    12     urlbase = 'http://i.youku.com/u/UMTE0NDEzOTky/videos/'
    13     url = urlbase + 'order_1_view_1_page_' + str(id) + '/'
    14     res = urllib2.urlopen(url).read()
    15     abstarct = re.compile(r'<ul class="v".*?</ul>',re.DOTALL).findall(res)
    16
    17     vid_list = []
    18     for i in range(0,len(abstarct)):
    19         title = re.compile(r'title="(.*?)"',re.DOTALL).findall(abstarct[i])
    20         href = re.compile(r'href="(.*?)"',re.DOTALL).findall(abstarct[i])
    21         date = re.compile(r'<span>(.*?)</span>',re.DOTALL).findall(abstarct[i])
    22         if debug == True:
    23             print title[0]+href[0]+date[0]
    24         vid = {
    25             'title' : title[0],
    26             'href'  : href[0],
    27             'date'  : date[0]
    28         }
    29         vid_list.append(vid)
    30     #print thread.get_ident()    
    31     return vid_list
    32 #插入数据库
    33 def insert_db(page):
    34     global lock
    35     #执行抓取函数
    36     vid_date = fetch(page,False)
    37     sql = "insert into ykgame (title,href,date) values (%s,%s,%s)"
    38     #插入数据,一页20条
    39     for i in range(0,len(vid_date)):
    40         param = (vid_date[i]['title'],vid_date[i]['href'],
    41                     vid_date[i]['date'])
    42         lock.acquire() #创建锁
    43         cursor.execute(sql,param)
    44         conn.commit()
    45         lock.release() #释放锁
    46
    47 if __name__ == "__main__":
    48     #连接数据库
    49     conn = MySQLdb.connect(host="localhost",user="root",
    50             passwd="root",db="python_test",charset="utf8")
    51     cursor = conn.cursor()
    52     conn.select_db('python_test')
    53     #创建表
    54     sql = "CREATE TABLE IF NOT EXISTS \
    55         ykgame(id int PRIMARY KEY AUTO_INCREMENT, title varchar(50), \
    56         href varchar(50), date varchar(25))"
    57     cursor.execute(sql)
    58     #插入数据库
    59     for i in range(1,10):
    60         thread.start_new_thread(insert_db,(i,))
    61         print '采集中...'
    62     time.sleep(3)
    63     #关闭数据库
    64     cursor.close()
    65     conn.close()
    复制代码

    说明:

    urllib2模块:进行网页内容抓取

    re模块:进行正则表达式提取

    MySQLdb模块:mysql操作

    thread模块:多线程操作

    time模块:time.sleep(3)

    遇到的问题:

    1.mysql中文乱码:问题比较复杂,通用解决办法如下

    程序中只要在开头写好:#coding=utf-8

    连接数据库的时候设置编码方式:conn=MySQLdb.connect(host="127.0.0.1",user="webdb",passwd="web123",db="web",charset="utf8")

          对于采集来的中文字符串,可以编码转换后插入str = str.decode("gbk").encode("utf-8")

    2.Warning: Data truncated for column 'href' at row 1

    原因:href 数据库中为 varchar(25),而实际长度>25

    解决办法:将href 数库中改为 varchar(50)

    3.多线程问题:现象混乱有时候无报错,注意事项如下

    使用相同资源是需要用资源锁,不然出现异常

    线程处理时间短时,启用线程后加time.sleep(3)

  • 相关阅读:
    男生晚上做什么兼职好?有什么好兼职推荐吗?
    保护隐私同时实施有效审计监管的区块链系统
    真正能挣钱的分析模型有哪些?这三个你绝对要学会
    《机器学习实战》学习笔记(九):树回归
    那些年删过的库,跑过的路,你从中找到解决方法了吗?
    怎么查看当前的git分支是基于哪个分支创建的?
    怎么查看当前的git分支是基于哪个分支创建的?
    安卓性能优化总结
    安卓性能优化总结
    安卓性能优化总结
  • 原文地址:https://www.cnblogs.com/lexus/p/2650515.html
Copyright © 2011-2022 走看看