zoukankan      html  css  js  c++  java
  • 2021最新版Python爬取抖音小姐姐短视频,无水印,超级详细!(附视频/源码)

    好了,又来到了大家最喜欢的整活环节,爬小姐姐视频,本来爬正经视频的,但是想了想,还是要整点实用的,那必须换成小姐姐,直接整活!

    在这里插入图片描述
    用的环境是Python3.6和pycharm,需要安装一个浏览器驱动(谷歌或者火狐的都可以,跟浏览器版本相近就行)没有的小伙伴可以加这个群点我免费加群领取 包括本次的完整代码,视频教程都在群里免费领取。
    很多小伙伴在学习的过程中因为没有好的学习资料、学习路线,或者遇到问题得不到及时解决导致自己学习进度缓慢,甚至放弃学习了,在这里我统统都给大家准备好了,从零基础到实战,各个方向的学习路线统统免费送给大家,学习问题都可以在群里得到解答,点我免费领取

    在这里插入图片描述
    本次要用到的模块

    requests >>> pip install requests
    selenium >>> pip install selenium
    re
    os

    大概思路

    一. 数据来源分析

    1. 确定需求 (我们要爬的内容是什么?)
      抖音视频内容
    2. 通过开发者工具进行抓包分析
      I. (F12/鼠标右键点击检查可以打开) 选择network 选择 media 找播放地址
      II. 找播放地址来源 >>>
      爬一个视频

    二. 代码实现过程

    1. 发送请求 对于视频详情页发送请求
    2. 获取数据 获取网页源代码数据
    3. 解析数据 提取视频播放地址 以及视频标题
    4. 下载保存

    各个模块的作用

    import requests  # 数据请求 第三方模块 pip install requests
    import re  # 正则表达式模块
    import os  # 文件操作模块
    import time # 时间模块
    from selenium import webdriver  # pip install selenium

    自动判断有无文件夹,自动创建,文件夹名字可以自己随便命名,这里我们创建名字为video,这里也可以自己先创建一个相同名字的文件夹放在代码旁边。

    filename = 'video\' # 文件名字
    if not os.path.exists(filename): # 判断如果没有这个文件夹的话
        os.mkdir(filename) # 创建这个文件

    很多文件下载下来后名字带有特殊符号的,这时候我们就要把这些特殊符号给替换掉,不然不能保存。

    def change_title(title):
        pattern = re.compile(r"[/\:*?"<>|
    ]")  # '/  : * ? " < > |'
        new_title = re.sub(pattern, "_", title)  # 替换为下划线
        return new_title

    这一步需要安装好浏览器驱动,selenium 可以模拟人的行为去操作浏览器,模拟滑动操作。自己翻的话,多麻烦是吧。验证码没有写进来,需要自己手动过一下验证码。

    def drop_down():
        """执行页面滚动的操作"""  # javascript
        for x in range(1, 30, 4):  # 在你不断的下拉过程中, 页面高度也会变的
            time.sleep(1)
            j = x / 9
            # document.documentElement.scrollTop  指定滚动条的位置
            # document.documentElement.scrollHeight 获取浏览器页面的最大高度
            js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j
            driver.execute_script(js)

    实例化一个浏览器的对象

    driver = webdriver.Chrome()

    访问url地址网址

    driver.get('.......')

    括号里面的内容替换成你想要爬取的博主,我就不放链接了,免得审核不过。
    截个图吧,这里以他为例,具体是谁,懂得都懂。
    在这里插入图片描述不,我不懂~
    在这里插入图片描述
    怎么找地址呢,在当前页面链接中把?之前的都复制下来放进括号里面替换掉… 这几个点。
    在这里插入图片描述返回的列表 里面元素是对象

    lis = driver.find_elements_by_css_selector('div._927ae3b0dd790b5b62eae61c7d2fa0bc-scss > div:nth-child(2) > ul li')

    调用 find_element_by_css_selector() 方法

    li_url = li.find_element_by_css_selector('a').get_attribute('href')

    headers 请求头 伪装作用,user-agent: 浏览器的基本信息。

    headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36'
        }
        response = requests.get(url=li_url, headers=headers)

    获取数据 response.text 获取响应体的文本数据
    print(response.text)
    解析数据 通过 re 正则表达式
    正则表达式匹配出来的内容是列表
    贪婪模式[我全都要] 非贪婪模式(?)

    title = re.findall('<title data-react-helmet="true"> (.*?)</title>', response.text, re.S)[0]
        new_title = change_title(title)

    返回是列表没问题, [1] 索引取值 第一个元素索引位置是0 第二个元素索引位置 1。

    html_data = re.findall('src(.*?)vr%3D%2', response.text)[1]

    解码

    video_url = requests.utils.unquote(html_data).replace('":"', 'http:')

    print(video_url)保存数据,response.content (获取响应体的二进制数据),为什么我要获取二进制数据呢,如果要保存图片/视频/音频/特定格式的文件,都是二进制数据保存的。

    video_content = requests.get(url=video_url, headers=headers).content

    mode 保存方式, w 是写入, b 二进制模式 ,wb 以二进制方式保存, mode 默认是, r 读取,as 重命名 f。

    然后看一下效果
    在这里插入图片描述


    兄弟们,冲冲冲!还是新鲜的,只要你去试了,必然是成功的,如果你连试都没试,那当我没说,文章如果看不懂,可以进那个群看视频!工具软件都有现成的直接找管理要就好了!

    在这里插入图片描述

  • 相关阅读:
    根据View获取该控制器
    富文本
    自定义cell,根据数据源,要对cell的布局进行调整,没有实现调整的相应效果
    NSTimer定时器
    textFiled输入字数的控制问题之—把带输入的拼音也判断了
    iOS 最值宏定义
    ios7.1 masonry布局中出现的问题
    串行队列、并行队列、同步、异步
    商标数字整数申请流程
    商标网上申请流程
  • 原文地址:https://www.cnblogs.com/hahaa/p/15199662.html
Copyright © 2011-2022 走看看