最终屏幕录制方案

屏幕录制方案

需求

• 实现任务录制任务下发后自动将动画和音频录制为MP4的视频
• 后台服务
• 录制进度实时更新
• 后续分享到视频播放平台，如爱奇艺、抖音等

方案架构

• django command启动服务
• gearman提交下发任务
• 后端采用PyQt5搭建服务平台
• QProcess执行ffmpeg录制屏幕命令
• QThread维持gearmanworker接受任务
• WebDriver加载定制页面播放动画及音频

前端

• 实现动画加载，图片按浏览器宽高比率放置
• 加载完成之后修改特定标签文本值
• 点击事件触发以后播放音频，后续页依次自动播放
• 整个动画文件播放完毕以后修改特定标签文本值

后端

• 搭建服务平台
• 执行ffmpeg录制屏幕
• 维持gearmanworker运转，接收屏幕录制任务
• 监测前端录制进程，控制录制的开始和结束
• 实时上传录制进度
• 上传视频至cos

录制流程图

录制流程说明

搭建服务平台

django manage 启动任务，初始化PyQT5搭建的服务平台

class Command(BaseCommand):

    def handle(self, *args, **options):
        app = QApplication(sys.argv)
        win = MainWindow()
        app.exit(app.exec_())

在PyQt5平台中初始化

 参数（init_arguments）、搭载gearmanworker的（init_worker），WebDriver（init_driver）,任务加载定时器(init_timer)

class MainWindow(QMainWindow):

    def __init__(self, parent=None):
        super(MainWindow, self).__init__(parent)
        self.root_path = Path(__file__).parent
        self.setWindowTitle('易哈佛')
        self.init_arguments()
        self.init_driver()
        self.init_worker()
        self.init_timer()

注册gearmanworker

QThread中注册gearmanworker到gearman服务器，接收到的任务都存入任务池中

class WebWorker(QThread):

    def __init__(self):
        super().__init__()
        self.worker = None
        self.task_pool = []

    def run(self):
        self.worker = self.init_worker()
        self.worker.work()

    def init_worker(self):
        convert_worker = JsonWorker(['c.ehafolive.com:4730', ])
        convert_worker.set_client_id('capture')
        convert_worker.register_task('screencapture', self.task_listener)
        return convert_worker

    @property
    def worker_(self) -> JsonWorker:
        return self.worker

    def task_listener(self, gearman_worker, request):
        self.task_pool.append(request.data)

任务加载定时器

任务加载定时器会每五秒调起一次任务加载功能。任务加载功能必须在任务池存在任务，并且当前平台没有任务时才会执行任务加载，为了避免并发导致任务冲突，所以任务加载功能单线程执行。

def load_url(self):
    # 接受视频录制任务
    self.lock.acquire()
    if self.WebWorker.task_pool and self.usable:
        self.usable = False
        info = self.WebWorker.task_pool.pop(0)
        self.video_layout = info.get('layout')
        self.h_id = int(info.get('pk'))
        print(self.video_layout, self.h_id)
        self.driver_load()
    self.lock.release()

浏览器加载功能

一但允许任务加载从任务池中提取一个任务，提取出数据，调用浏览器加载功能，浏览器加载功能是通过加载定制的页面，并通过设置浏览器的位置和宽高来大致确定后续需要录制的区域,在页面加载完毕后，需要初始化录制动作监控定时器，并初始化一个视频对象，后续的进度实时更新依赖于初始化的视频对象

def driver_load(self):
    # 设置浏览器位置及窗口大小，加载url
    url = "https://xxxx?pk=%s" % self.h_id
    if self.video_layout == 'vertical':
        width, height = 1000, 1446
    else:
        width, height = 1373, 800
    self.set_driver(width, height)
    self.driver.get(url)
    self.init_cmd_timer()
    self.init_video_instance()

浏览器设置

通过对任务的横版和竖版的判定，将浏览器位置调整到合适的区域，并设置相应的宽高

def set_driver(self, width, height):
    if self.video_layout == 'vertical':
        left, top = self.chose_screen(768, 1366)
    else:
        left, top = self.chose_screen(1366, 768)
    self.screen_width = width - self.window_offset_x
    self.screen_height = height - self.window_offset_y
    self.driver.set_window_position(left - self.window_offset_x, top)
    self.driver.set_window_size(width, height)

视频对象的初始化

因为任务可能重复下发，因此视频对象可能早有存在，所以对于已存在的对象只需局部更新数据，不需要另外创建

def init_video_instance(self):
    from article.models import Article
    from points.models import Video
    queryset = Article.objects.filter(id=self.h_id)
    if not queryset.exists():
        return
    article = queryset.first()
    data = {
        'size': 0,
        'process': 0,
        'course': self.h_id,
        'user': article.user,
        'layout': article.layout,
        'duration': article.duration,
    }
    video, _ = Video.objects.update_or_create(
        defaults=data,
        course=self.h_id,
    )
    self.video_id = video.id

录制动作监控定时器超时事件响应

在上述任务加载完毕，并且初始化完成后，录制动作监控定时器将迎来第一次的超时事件，超时事件将检测相应的标签值，在确定标签值已经改变并由后端完成修改后，将调起相应的功能

#录制动作监控定时器超时调起事件
def monitor_cmd(self):
    if self.set_monitor_tag_value('click'):
        self.mouse_click_event()
    if self.set_monitor_tag_value('start'):
        self.start_capture()
    if self.set_monitor_tag_value('stop'):
        self.stop_capture()
#监测动作对应的标签文本值，发生变化则进行修改
def set_monitor_tag_value(self, tag):
    lock = Lock()
    lock.acquire()
    _, value = self.get_monitor_tag_value(tag)
    if value == 'false':
        lock.release()
        return False
    attributeName = 'textContent'
    js = "{}.{}={}".format(tag, attributeName, 'false')
    self.driver.execute_script(js)
    print('set element value %s' % tag)
    lock.release()
    return True

click标签文本值改变关联事件

由后端在前端确定url加载完毕后调起，实现模拟点击事件，通知前端开始播放动画和音频

def mouse_click_event(self):
    # 点击命令执行，开始播放
    self.driver.find_element_by_id('click-element').click()

start标签文本值改变关联事件

start标签值的改变在前端确定动画和音频已经开始播放后修改，当后端检测到文本值发生改变后，检测录制区域是否超出屏幕、初始化录制视频进程、初始化录制进度更新定时器，开始屏幕录制

def start_capture(self):
    # 开始录制视频
    if not self.verify_capture_size():
        return self.unlocked()
    capture_cmd = self.init_capture_cmd()
    self.process = RecordProcess()
    self.process.start(capture_cmd)
    self.init_process_timer()
    print(capture_cmd)

stop标签文本值改变关联事件

start标签值的改变在前端确定动画和音频已经播放完毕后修改，当后端检测到文本值发生改变后，调起停止视频录制功能，关闭录制动作监控定时器，关闭进度更新定时器，待录制视频进程完全结束，视频文件生成后调起上传视频

def stop_capture(self):
    # 停止录制视频
    if not hasattr(self, 'process'): return
    self.process.quit()
    self.process_timer.stop()
    self.monitor_timer.stop()
    self.process.finished.connect(self.upload_video)

视频上传功能

上传视频到cos，上传完成后，解除任务正在执行的标志，等待下一次任务加载，同时调起顶顶发送消息通知任务已经完成

def upload_video(self):
    # 上传视频到数据库
    url = save_video(self.video_path, self.video_id)
    self.usable = True
    task_success(TASK, "path:%s" % url)

上传视频

如果已经录制过视频，原视频从cos删除

def save_video(video_path, pk):
    if not os.path.exists(video_path):
        print('视频转录异常', video_path)
        return
    f = open(video_path, 'rb')
    url = upload_video(f.name, f)
    f.seek(0)
    size = len(f.read())
    instance = Video.objects.get(id=pk)
    if instance.url:
        delete_from_cos(instance.url.url)
    instance.url = url
    instance.size = size
    instance.process = 100
    instance.save()
    print(url, pk)
    print('*' * 100)
    f.close()
    return url

​​