音视频之视频录制(十)

MAC端录制视频

命令行录制

avfoundation支持的设备

ffmpeg -f avfoundation -list_devices true -i ' '

输出结果大致如下所示:

[AVFoundation indev @ 0x7fd2d1804400] AVFoundation video devices:
[AVFoundation indev @ 0x7fd2d1804400] [0] FaceTime HD Camera
[AVFoundation indev @ 0x7fd2d1804400] [1] Capture screen 0
[AVFoundation indev @ 0x7fd2d1804400] AVFoundation audio devices:
[AVFoundation indev @ 0x7fd2d1804400] [0] Built-in Microphone
[AVFoundation indev @ 0x7fd2d1804400] [1] 江波的AirPods

0号设备就是Mac自带的摄像头

avfoundation支持的参数

ffmpeg -h demuxer=avfoundation

输出结果大致如下所示:

AVFoundation indev AVOptions:
  -list_devices      <boolean>    .D......... list available devices (default false)
  -video_device_index <int>        .D......... select video device by index for devices with same name (starts at 0) (from -1 to INT_MAX) (default -1)
  -audio_device_index <int>        .D......... select audio device by index for devices with same name (starts at 0) (from -1 to INT_MAX) (default -1)
  -pixel_format      <pix_fmt>    .D......... set pixel format (default yuv420p)
  -framerate         <video_rate> .D......... set frame rate (default "ntsc")
  -video_size        <image_size> .D......... set video size
  -capture_cursor    <boolean>    .D......... capture the screen cursor (default false)
  -capture_mouse_clicks <boolean>    .D......... capture the screen mouse clicks (default false)
  -capture_raw_data  <boolean>    .D......... capture the raw data from device connection (default false)
  -drop_late_frames  <boolean>    .D......... drop frames that are available later than expected (default true)

• -video_size: 分辨率
• -pixel_format: 像素格式
  • 默认是yuv420p
• -framerate: 帧率(每秒菜鸡多少帧画面)
  • 默认是ntsc，也就是30000/1001，约等于29.970030
• -list_device: true表示列出avfoundation支持的所有设备

录制

使用0号视频设备录制

ffmpeg -f avfoundation -i 0 out.yuv

然后你可能会遇到一个错误: 这个设备(摄像头)不支持29.970030的帧率

Selected framerate (29.970030) is not supported by the device

重新设置30的帧率试试 

ffmpeg -f avfoundation -framerate 30 -i 0 out.yuv

• 这个设备(摄像头)不支持yuv420p
• 只支持uyvy422、yuyv422、nv12、0rgb、bgr0
• 并且自动选择使用uyvy422替代yuv420p　　

Selected pixel format (yuv420p) is not supported by the input device.
Supported pixel formats:
  uyvy422
  yuyv422
  nv12
  0rgb
  bgr0
Overriding selected pixel format to use uyvy422 instead.

与此同时，也成功开始采集摄像头的视频数据了。

• 像素格式: uyvy422
• 分辨率: 1280x720
• 帧率: 30    

Input #0, avfoundation, from '0':
    Stream #0:0: Video: rawvideo, uyvy422, 1280x720

Output #0, rawvideo, to 'out.yuv':
    Stream #0:0: Video: rawvideo, uyvy422, 1280x720, 30 fps

播放录制好的YUV

ffplay -video_size 1280x720 -pixel_format uyvy422 -framerate 30 out.yuv

编程录制视频

依赖库

需要依赖5个库

extern "C" {
// 设备相关API
#include <libavdevice/avdevice.h>
// 格式相关API
#include <libavformat/avformat.h>
// 工具（比如错误处理）
#include <libavutil/avutil.h>
// 编码相关的API
#include <libavcodec/avcodec.h>
#include <libavutil/imgutils.h>
}

宏定义

#ifdef Q_OS_WIN
    // 格式名称
    #define FMT_NAME "dshow"
    // 设备名称
    #define DEVICE_NAME ""
    // PCM文件名
    #define FILEPATH "F:/"
#else
    #define FMT_NAME "avfoundation"
    #define DEVICE_NAME ":0"
    #define FILEPATH "/Users/muzi/Desktop/out.yuv"
#endif

权限申请

在Mac平台，有2个注意点:

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE plist PUBLIC "-//Apple//DTD PLIST 1.0//EN" "http://www.apple.com/DTDs/PropertyList-1.0.dtd">
<plist version="1.0">
<dict>
        <key>NSCameraUsageDescription</key>
        <string>申请使用您的摄像头权限</string>
        <key>NSMicrophoneUsageDescription</key>
        <string>申请使用您的麦克风权限</string>
</dict>
</plist>

• 需要在Info.plist中添加摄像头、麦克风的使用说明，申请摄像头、麦克风的使用权限
• 使用Debug模式运行程序
• 不然会出现闪退的情况

注册设备

在整个程序的运行过程中，只需要执行1次注册设备的代码。

 // 注册设备
 avdevice_register_all();

获取输入格式对象

// 获取输入格式对象
    AVInputFormat *fmt = av_find_input_format(FMT_NAME);
    if (!fmt) {
        qDebug() << "获取输入格式对象失败" << FMT_NAME;
        return;
    }

打开输入设备

 // 格式上下文（将来可以利用上下文操作设备）
    AVFormatContext *ctx = nullptr;

    // 设备参数
    AVDictionary *options = nullptr;
    av_dict_set(&options, "video_size", "640x480", 0);
    av_dict_set(&options, "pixel_format", "yuyv422", 0);
    av_dict_set(&options, "framerate", "30", 0);

    // 打开设备
    int ret = avformat_open_input(&ctx, DEVICE_NAME, fmt, &options);
    if (ret < 0) {
        char errbuf[1024];
        av_strerror(ret, errbuf, sizeof (errbuf));
        qDebug() << "打开设备失败" << errbuf;
        return;
    }

打开输出文件

// 文件名
    QFile file(FILEPATH);

    // 打开文件
    // WriteOnly：只写模式。如果文件不存在，就创建文件；如果文件存在，就会清空文件内容
    if (!file.open(QFile::WriteOnly)) {
        qDebug() << "文件打开失败" ;

        // 关闭设备
        avformat_close_input(&ctx);
        return;
    }

采集视频数据

// 计算一帧的大小
    AVCodecParameters *params = ctx->streams[0]->codecpar;
    AVPixelFormat pixFmt = (AVPixelFormat) params->format;

    int imageSize = av_image_get_buffer_size(pixFmt,
                                             params->width,
                                             params->height,
                                             1);

    // 数据包
    AVPacket *pkt = av_packet_alloc();
    while (!isInterruptionRequested()) {
        // 不断采集数据
        ret = av_read_frame(ctx, pkt);

        if (ret == 0) { // 读取成功
            // 将数据写入文件

            file.write((const char *) pkt->data, imageSize);

            // 释放资源
            av_packet_unref(pkt);
        } else if (ret == AVERROR(EAGAIN)) { // 资源临时不可用
            continue;
        } else { // 其他错误
            char errbuf[1024];
            av_strerror(ret, errbuf, sizeof (errbuf));
            qDebug() << "av_read_frame error" << errbuf << ret;
            break;
        }

        // 必须要加，释放pkt内部的资源
        av_packet_unref(pkt);
    }

释放资源

// 释放资源
    // 关闭文件
    file.close();

    // 释放资源
    av_packet_free(&pkt);

    // 关闭设备
    avformat_close_input(&ctx);

    qDebug() << this << "正常结束----------";