Qt与FFmpeg联合开发指南（二）——解码（2）：封装和界面设计

与解码相关的主要代码在上一篇博客中已经做了介绍，本篇我们会先讨论一下如何控制解码速度再提供一个我个人的封装思路。最后回归到界面设计环节重点看一下如何保证播放器界面在缩放和拖动的过程中保证视频画面的宽高比例。

一、解码速度

播放器播放媒体文件的时候播放进度需要我们自己控制。基本的控制方法有两种：

1. 根据FPS控制视频的播放帧率，让音频跟随。
2. 控制音频的播放解码速度，让视频跟随。

媒体文件在编码的时候，正常情况下视频数据和音频输出是交替写入的。换句话说，解码每一帧视频数据伴随需要播放的音频数据也应该被解码。所以，方案一的实现就比较简单和直接。但是在有些情况下也可能会出现音视频编码不同步的问题，大部分情况是视频提前于音频。万一遇到这样的情况，如果需要让我们的播放器带有一定纠错功能就必须采用第二种方案。方案二的设计思路是当遇到音频数据时正常播放，遇到视频数据时先缓冲起来，再根据pts参数同步。

方案一

QTime t;
QIODevice ioDevice;
t.restart();
AVPacket *pkt = readPacket();
if (pkt->stream_index == videoIndex) { // 当前为视频帧，计算视频播放每帧的间隔时间（1000/fps） - 解码消耗的时间（毫秒） = 实际解码间隔时间interval
    codecPacket(pkt);
    int el = t.elapsed();
    int interval = 1000 / fps - el > 0 ? 1000 / fps - el : 1;
    QThread::msleep(interval);
}
else if (pkt->stream_index == audioIndex) { // 当前为音频帧，直接让Qt的音频播放器播放
    codecPacket(pkt);
    char data[10000] = { 0 };
    int len = toPCM(data);
    ioDevice->write(data, len);
}

方案二

AVPacket *pkt = readPacket();

if (pkt->stream_index == audioIndex) {
    codecPacket(pkt);
    char data[AUDIO_IODEVICE_WRITE_SIZE] = { 0 };
    int len = toPCM(data);
    ioDevice->write(data, len);
}
else if (pkt->stream_index == videoIndex) {
    videoPacketList.push_back(pkt);
}

while (videoPacketList.size() > 0 && videoPts < audioPts) {
    AVPacket *pkt = videoPacketList.front();
    videoPacketList.pop_front();
    codecPacket(pkt);
}

这个方案遇到的另外一个问题是我们如何获取videoPts和audioPts这两个值。我个人的解决思路是在解码环节进行，即，每次对pkt进行一次解码就根据pkt的stream_index值分别记录解码后的AVFrame的pts。不过音频的pts和视频的pts不能直接比较。我们还需要根据各自的AVRational做一次换算。算法如下：

AVRational r;
frame->pts * (double)r.num / (double)r.den;

二、封装思路讨论

代码封装实际是一个见仁见智的工作，可能不同的人对代码结构的理解不同，实现的封装方式也会存在差异。包括我们的解决方案到底针对哪些需求也会按照不同的思路做封装。在这里插一句题外话，大家认为程序开发到底是一种什么样的工作性质？是仅仅为了实现客户的需求吗？如果你只能理解到这一层，那恐怕还远远不够！客户需求只能算是抛给你的一个问题，而你反馈给客户的应该是一套合理的解决方案。从这个观点出发我们进行再抽象，程序开发应该是一种从问题空间到解空间的映射。既然如此，我们就不能将自己的工作仅仅停留在功能实现这个层面，我们还应该提供更好的解决思路——最佳实践。

基本上，如果我们只需要设计一个简单的播放器。大概需要三个模块的支持：

界面模块（av_player）：包括了界面的样式和基础互动功能

解码模块（Decoder）：这个部分主要通过对FFmpeg的功能二次封装，并对外提供接口支持

播放器模块（PlayerWidget）：负责界面和解码模块的连接，界面中嵌入播放器模块，视频显示和音频播放都由播放器模块独立负责。

下面看一下我设计的解码模块对外提供的接口：Decoder.h

class Decoder : protected QThread
{
public:
    Decoder();
    virtual ~Decoder();
    bool open(const char *filename);

    void close();
    // 从文件中读取一个压缩报文
    AVPacket* readPacket();
    // 解码报文并释放空间，返回值为当前解码报文的pts时间（毫秒）
    int codecPacket(AVPacket* pkt);
    // 将解码帧Frame转码为RGB或PCM
    int toRGB(char *outData, int outWidth, int outHeight);
    int toPCM(char *outData);
    
    int durationMsec; // 文件时长
    int fps; // 视频FPS
    int srcWidth; // 视频宽度
    int srcHeight; // 视频高度
    int videoIndex; // 视频通道
    int audioIndex; // 音频通道
    int sampleRate; // 音频采样率
    int channels; // 声道
    int sampleSize; // 样本位数
    bool endFlag; // 线程结束标志
    bool pauseFlag; // 线程暂停标志
    // 记录当前的音视频所处在的pts时间戳（毫秒）
    int videoPts;
    int audioPts;
    // 记录音视频的编解码格式
    int sampleFmt;
    int pixFmt;
    /************************************************************************/
    /* default: CD音质（16bit 44100Hz stereo）                              */
    /************************************************************************/
    int dstSampleRate = 44100; // 采样率
    int dstSampleSize = 16; // 采样大小
    int dstChannels = 2; // 通道数
    // 线程启动的代理方法
    void start();
    // 音频输出
    QAudioOutput *audioOutput = NULL;
protected:
    void run();
private:
    QMutex mtx;
    AVFormatContext *pFormatCtx = NULL;

    SwsContext *videoSwsCtx = NULL;
    AVFrame *yuv = NULL;

    SwrContext *audioSwrCtx = NULL;
    AVFrame *pcm = NULL;
    QIODevice *ioDevice = NULL;

    std::list<AVPacket*> videoPacketList;

    AVInputTypeEnum avType = AVInputTypeEnum::NOTYPE;
    QString fileName;
};

乍一看很复杂，我们稍微理一下思路。首先Decoder继承了QThread，并重写了start()方法。重写的好处是，在对调用者完全透明的情况下，我们可以在这个函数中做一些初始化工作。在设计模式中，它数据代理模式。其他方法介绍：

• bool open(const char *filename)：开发多媒体文件
• void close()：关闭和析构所有编码，这个步骤在音视频编解码的开发中非常重要
• AVPacket* readPacket()：读取一帧数据并返回
• int codecPacket(AVPacket* pkt)：解码之前读取到的一帧数据，返回该帧数据表示的pts值并将传入的pkt析构释放内存空间
• int toRGB(char *outData, int outWidth, int outHeight)：转码视频帧，将yuv转换为rgb
• int toPCM(char *outData)：转码音频帧

播放器模块：PlayerWidget.h

class PlayerWidget : public QOpenGLWidget
{
public:
    PlayerWidget(Decoder *dec, QWidget *parent, int interval);
    virtual ~PlayerWidget();
    /************************************************************************/
    /* default: 720p 25fps                                                  */
    /************************************************************************/
    int videoWidth = 720;
    int videoHeight = 480;
    int m_interval = 40;
    /************************************************************************/
    /* default: CD音质（16bit 44100Hz stereo）                              */
    /************************************************************************/
    int sampleRate = 44100; // 采样率
    int sampleSize = 16; // 采样大小
    int channels = 2; // 通道数
protected:
    void timerEvent(QTimerEvent *e);
    void paintEvent(QPaintEvent *e);
private:
    Decoder *decoder = NULL;
    QAudioOutput *out;
    QIODevice *io;
};

这个模块继承自QOpenGLWidget，并包含了QAudioOutput。这两个Qt类分别代表了视频播放和音频播放。

界面模块：在这个模块中有一个重要的工作就是当我们在播放视频的时候放大和缩小播放器窗口如何保证视频画面依然保持正确的宽高比，为此我写了一个静态函数：

struct AspectRatio {
    double width;
    double height;
};

static AspectRatio* fitRatio(int outWidth, int outHeight, int inWidth, int inHeight) {
    double r1 = ((double)outWidth / (double)outHeight);
    double r2 = ((double)inWidth / (double)inHeight);
    AspectRatio *ar = new AspectRatio;
    if (r1 > r2) {
        int newWidth = (double)(outHeight * inWidth) / (double)inHeight;
        ar->width = newWidth;
        ar->height = outHeight;
        return ar;
    }
    else {
        int newHeight = (double)(inHeight * outWidth) / (double)inWidth;
        ar->width = outWidth;
        ar->height = newHeight;
        return ar;
    }
}

最后附上我自己设计的播放器界面

项目源码：https://gitee.com/learnhow/ffmpeg_studio/tree/master/_64bit/src/av_player