在MSN、QQ等聊天类的应用程序中,都应用到了网络视频技术。Delphi使用Object Pascal语言是一种完全面向对象语言,可以开发出灵活强大的程序,开发网络视频程序也不在话下。一个完整的网络视频程序应包括以下几个关键技术:视频捕获、视频压缩与解压、数据传输。
一、视频获捕
1.基本概念
微软为软件开发人员提供了一个专门用于视频捕获的VFW (Video for Windows) SDK,为在Windows系统中实现视频捕获提供了标准的接口,从而大大方便了视频捕获程序的开发。由于VFW SDK只有VC和VB版,没有Delphi版,因此需要在Delphi中重新声明DLL中的各个函数和变量(可以参考MSDN中的VC的函数声明以及变量定义,也可以从网上下载写好的头文件vfw.pas)。
VFW是Microsoft 1992年推出的关于数字视频的一个软件包,它能使应用程序数字化并播放从传统模拟视频源得到的视频剪辑。VFW的一个关键思想是播放时不需要专用硬件,为了解决数字视频数据量大的问题,需要对数据进行压缩。它引进了一种叫AVI的文件标准,该标准未规定如何对视频进行捕获、压缩及播放,仅规定视频和音频该如何存储在硬盘上,在AVI文件中交替存储视频帧和与之相匹配的音频数据。VFW给程序员提供VBX和AVICap窗口类的高级编程工具,使程序员能通过发送消息或设置属性来捕获、播放和编辑视频剪辑。
2.AVICap编程
AVICap支持实时的视频流捕获和单帧捕获并提供对视频源的控制,它能直接访问视频缓冲区,不需要生成中间文件,实时性很强,效率很高。同时,它也可将数字视频捕获到文件。AVICap编程的基本步骤包括:
第一步,创建AVICap窗口。通过capCreateCaptureWindow函数创建一个捕获窗,所有的捕获操作及其设置都以它为基础。窗口风格一般为WS_CHILD和WS_VISIBLE。
第二步,设置AVICap窗口的相关属性。通过capPreviewRate函数设置视频捕获速率;通过capPreview函数或capOverlay函数设置显示视频时的模式(普通的摄像头不能用overlay的方式);通过capSetVideoFormat函数设置视频格式(包括长度、宽度等);通过capDlgVideoSource、capDlgVideoFormat、capDlgVideoCompression显示控制视频源、视频格式、视频压缩的对话框。
第三步,定义回调函数。定义捕获帧回调函数,获得每一帧的数据,并对每一帧的数据进行处理,比如压缩、传输到客户端等;定义窗口状态回调函数,获得窗口的状态;定义错误回调函数,获得并处理错误信息。
3.相关控件
虽然利用上面介绍的API可以实现视频捕获编程,但如果将这些API封装成一个控件则编程更为方便,这样的控件可以从常用Delphi网站找到。本文以TvideoCap控件为例,实现视频捕获。
(1)相关属性及方法
DriverIndex该属性是用来指定视频捕获设备序号,从0开始。
DriverOpen该属性是用来确定是否打开指定的视频捕获设备。设置为True表示打开,False表示关闭。
CapToFile该属性是用来确定捕获的同时是否将捕获的画面保存成AVI格式的视频文件。设置为True表示保存,False表示不保存。
VideoPreview该属性是确定捕获的同时是否预览。设置为True表示预览,False表示不预览。
StartCapture该方法是用来捕获视频数据,执行该方法后才会触发相关事件。
其他的属性和方法这里就不一一介绍。
(2)相关事件
OnVideoStream当捕获视频数据时触发该事件,在这里可以获得每一帧的数据,进行相关处理,发送到客户端。
二、视频压缩与解压
通过AVICap窗口捕获的每一帧的数据是以BMP(RAW)文件格式存放的,若直接进行传输,数据量非常大,对网络的带宽要求非常高,因此在传输之前必须对每一帧的数据进行压缩处理后再进行传输。具体步骤:
第一步,安装视频压缩引擎。媒体播放器软件都带有压缩引擎,也可以从网上下载单独的解压缩引擎,比如MPEG4或DIVX等。
第二步,初始化压缩引擎。选择压缩引擎,获得压缩引擎的支持,确定输入、输出格式,设置压缩器。
第三步,压缩帧数据。通过指定的压缩引擎,对获取的每一帧数据进行压缩。
解压的过程与压缩的过程类似,通过选择相对应的解压引擎,将压缩的数据解压,以便于回放。
三、数据传输
1.基本概念
计算机在传输数据时有两种方式:分别是TCP(Transmission Control Protocol,传输控制协议)及UDP(User Datagram Protocol,用户数据报协议),两者分别因数据传输的不同请求而提供不同的数据传输方式。
(1) TCP协议
TCP是一个基于连接的通信协议,主要目的是提供大量数据传输并确保其传输无误,因此提供错误检查、数据复原及数据重传等机制。TCP在传输数据之前,会先在主机间(例如主控端与被控端)创建连接。根据此连接,数据可在计算机间相互传输,即所谓的双向传输模式。
(2) UDP协议
UDP是一个非连接式的通信协议,主要目的在于传输少量的数据。与TCP不同的是,TCP在传输之前必须创建连接,而UDP不需要,只要设置计算机间的IP及使用相同的端口,就可以相互传输数据。因此UDP只提供单向的数据传输,即所谓的单向无连接传输模式。
由于UDP不需要先创建连接,节省了TCP创建连接所需的时间,所以适合在主机间进行单向的数据传输。由于视频数据的传输对于实时性要求很高,即使传输过程中有个别帧的数据有错,也不会影响整个视频的效果,故本文将会详细介绍如何通过UDP实现视频数据的传输。
2.控件及相关内容介绍
在Delphi中对于UDP及TCP都提供了很好的支持,而且将它们封装起来。开发人员无须知道协议的具体实现细节,而只要使用Delphi提供的TIdUDPServer元件(在Indy Servers页)即可完成相应的功能。下面我们一起来认识一下这个元件。
(1) 相关属性
DefaultPort该属性是用来指定作为客户端时要打开的端口号,也就是通过该端口来接收数据。
Active该属性是用来打开指定的端口号,设置为True表示打开端口,False表示关闭端口。
BroadcastEnabled该属性是用来设置是否用来实现广播,设置为True表示可以广播,False表示不能广播。
(2) 相关事件
OnUDPRead当客户端收到服务器端发来数据时触发该事件,通过该事件我们可以取得服务器端发的每一帧的数据,以便在客户端回放。
除了以上提到的一些属性及事件外,TIdUDPServer还有一个重要的方法需要了解,那就是SendBuffer,通过该方法可以在服务器端向指定客户端的指定端口发送数据。
四、具体实现
1.服务器端程序
新建一个项目,并将VFW.PAS包含到USES中。在窗体上加入一个控件TVideoCap,命名为VideoCap1,该控件用于视频捕获、显示;放置一个TIdUDPServer,命名为VideoSender,用于传输视频数据;放置两个文本框,CilentIP设置客户端IP,ClientPort设置发送到客户端的端口;一个复选框CheckSend用来决定是否向客户端传输视频;放置两个TButton控件,一个命名为“StartVideo”,用来打开视频,另一个命名为“Closevideo”,用来关闭视频,整体布局如图1所示。
图1 服务器端界面
定义发送数据包的结构:
type
VideoData=record
buf:array[0..8079] of byte; //压缩后的视频数据
Num:integer;//帧数据过大时,分几个数据包发送,数据包在这一帧中的编号
IsLast:boolean;//是否是这一帧的最后一个数据包
end;
定义全局变量:
Var
FCV: TCOMPVARS;//帧压缩结构
FInInfo: TBitmapInfo;//压缩时输入结构
FOutInfo: TBitmapInfo;//压缩时输出结构
FoutActSize: DWORD;//压缩后帧数据的大小
Buffer:^byte; //压缩后帧数据地址
Buf: array of Byte;// 压缩后帧数据
主要代码:
//填充BMP头结构
procedure TForm1.FillBitmapStruc;
begin
FillChar(FInInfo.bmiHeader, SizeOf(TBitmapInfoHeader), 0);
with FInInfo.bmiHeader do
begin
biBitCount := 24;
biCompression := BI_RGB;
biHeight := 240;
biPlanes := 1;
biSize := SizeOf(TBitmapInfoHeader);
biWidth := 320;
end;
end;
//初始化压缩引擎
procedure TForm1.InitCompressor;
begin
FillChar(FCV, SizeOf(FCV), 0);
with FCV do
begin
dwFlags := ICMF_COMPVARS_VALID;
cbSize := SizeOf(FCV);
fccHandler := mmioFOURCC('d','i','v','x'); //选择压缩引擎,这里选择divx
fccType := ICTYPE_VIDEO;
hic := ICOpen(ICTYPE_VIDEO,fccHandler, ICMODE_COMPRESS);
lDataRate := 780;
lKey := 15;
lQ :=dword(ICQUALITY_DEFAULT);
if hic <> 0 then
begin
FillChar(FOutInfo, SizeOf(FOutInfo), 0);
ICCompressGetFormat(hic, @FInInfo, @FOutInfo);
FInInfo.bmiHeader.biCompression:=BI_RGB;
FOutInfo.bmiHeader.biCompression:=fccHandler;
ICSeqCompressFrameStart(@FCV, @FInInfo);
end;
end;
end;
//FormOnShow事件
procedure TForm1.FormShow(Sender: TObject);
begin
FillBitmapStruc;
InitCompressor;
//设置VideoCap1的相关属性
VideoCap1.DriverIndex:=0;
VideoCap1.CapToFile:=false;
VideoCap1.DriverOpen:=true;
videocap1.VideoPreview:=true;
end;
//StartVideoOnClick事件
procedure TForm1.StartVideoClick(Sender: TObject);
begin
VideoCap1.StartCapture;
end;
// VideoCap1OnVideoStream事件
procedure TForm1.VideoCap1VideoStream(sender: TObject; lpVhdr: PVIDEOHDR);
var
KeyFrame:boolean;
MyVideo:VideoData;
i:integer;
begin
if CheckSend.Checked then
begin
FOutActSize:=0;
MyVideo.Num:=0;
//压缩帧数据
Buffer:= ICSeqCompressFrame(@FCV, 0, lpVHdr^.lpData, @KeyFrame, @FOutActSize);
SetLength(buf,FOutActSize);
Move(Buffer^, Buf[0], FOutActSize);
//当帧数据太大时,分几个数据包发送
while FOutActSize>8080 do
begin
MyVideo.Num:=MyVideo.Num+1;
MyVideo.IsLast:=false;
for i:=0 to 8079 do
begin
MyVideo.buf[i]:= buf[(MyVideo.Num-1)*8080+i];
end;
FOutActSize:=FOutActSize-8080;
// 向客户端发送数据包
VideoSender.SendBuffer(CilentIP.text,strtoint(ClientPort.text),MyVideo,sizeof(MyVideo));
end;
if FOutActSize<8080 then
begin
MyVideo.Num:=MyVideo.Num+1;
MyVideo.IsLast:=true; //当前帧最后一个数据包
for i:=0 to FOutActSize do
begin
MyVideo.buf[i]:= buf[(MyVideo.Num-1)*8080+i];
end;
//向客户端发送数据包
VideoSender.SendBuffer(CilentIP.text,strtoint(ClientPort.text),MyVideo,sizeof(MyVideo));
end;
end;
application.ProcessMessages;
end;
//StopVideoOnClick事件
procedure TForm1. StopVideoClick (Sender: TObject);
begin
VideoCap1.StopCapture;
end;
//FormOnClose事件
procedure TForm1.FormClose(Sender: TObject; var Action: TCloseAction);
begin
if FCV.hic <> 0 then
begin
ICSeqCompressFrameEnd(@FCV);
ICCompressorFree(@FCV);
ICClose(FCV.hic);
end;
end;
2.客户端程序
新建一个项目,并将VFW.PAS包含到USES中。在窗体上加入一个控件TImage,命名为Image1,该控件用于视频显示;放置一个TIdUDPServer,命名为VideoReceiver,用于接收视频数据,DefaultPot属性设置为6000,整体布局如图2所示。
图2 客户器端界面
定义全局变量:
Var
FCV: TCOMPVARS;//帧压缩结构
FInInfo: TBitmapInfo;//解压时输入结构
FOutInfo: TBitmapInfo;//解压时输出结构
FoutActSize: DWORD;//压缩后帧数据的大小
Buf: array of Byte;// 未解压时帧数据
myout:array[0..230399] of byte;// 解压后帧数据
主要代码:
//填充BMP头结构
procedure TForm1.FillBitmapStruc;
begin
//略,见服务器端程序
end;
//初始化解压缩引擎
procedure TForm1.InitDeCompressor;
begin
//略,见服务器端程序
end;
//FormOnShow事件
procedure TForm1.FormShow(Sender: TObject);
begin
FillBitmapStruc;
InitDeCompressor;
VideoReceiver.Active:=true;
end;
//VideoReceiverOnUDPRead事件
procedure TForm1.VideoReceiverUDPRead(Sender: TObject; AData: TStream;
ABinding: TIdSocketHandle);
var
RetVal:integer;
MyVideo:VideoData;
i:integer;
begin
RetVal:=-1;
AData.Position:=0;
//读取数据
AData.ReadBuffer(MyVideo,sizeof(MyVideo));
if MyVideo.Num=1 then SetLength(buf,0);
SetLength(buf,(MyVideo.Num)*8080);
for i:=0 to 8079 do
begin
buf[(MyVideo.Num-1)*8080+i]:=MyVideo.buf[i];
end;
if MyVideo.IsLast then //当前帧最后一个数据包
begin
//解压数据
RetVal := ICDeCompress(FCV.hic,0,@FoutInfo.bmiHeader,@Buf[0],@FOutInfo.bmiHeader,@myout);
if RetVal= ICERR_OK then
begin
//在Image1上画出一帧图像
StretchDIBits(Image1.Canvas.Handle,0,0,Image1.Width,Image1.Height,0,0,FOutInfo.bmiHeader.biWidth,FOutInfo.bmiHeader.biHeight,@myout,FOutInfo,0,SRCCOPY );
Image1.Repaint;
end;
end;
end;
//FormOnClose事件
procedure TForm1.FormClose(Sender: TObject; var Action: TCloseAction);
begin
//略,同服务器端
end;
到此为止,整个网络视频程序就全部实现了。当然本程序的功能还有限,不过只要掌握了网络视频的的基本原理及相关知识后,根据需要在本程序的基础上进行扩充,完全可以成为一个实用的网络视频软件。本程序所有代码在Delphi7、Windows 2000/XP 及局域网中调试运行通过。