ffmpeg对于输入的视频文件采用的是probe的方法。每一种封装格式在注册是的时候都会提供probe函数。
ffmpeg首先读取文件的探测数据,一般是2-3k的头数据,然后遍历调用所有注册的probe函数,从中选出一个得分最高的封装格式。
然后在调用该格式的reed_head等函数,确定具体的音视频的编码格式,从而调用相应的codec。
总之,ffmpeg判定封装格式及编码格式是在demuxer中进行的,不是codec。具体的你可以看libavformat中的源代码。
对于输出文件,如无特殊指定,一般是根据扩展名判断编码格式。