编写C++程序使DirectShow进行视频捕捉
视频捕捉Graph的构建
一个能够捕捉音频或者视频的graph图都称之为捕捉graph图。捕捉graph图比一般的文件回放graph图要复杂许多,dshow提供了一个CaptureGraphBuilderCOM组件使得捕捉graph图的生成更加简单。CaptureGraphBuilder提供了一个ICaptureGraphBuilder2接口,这个接口提供了一些方法用来构建和控制捕捉graph。
首先创建一个CaptureGraphBuilder对象和一个graphmanger对象,然后用filtergraphmanager作参数,调用ICaptureGraphBuilder2::SetFiltergraph来初始化CaptureGraphBuilder。看下面的代码吧:
HRESULTInitCaptureGraphBuilder(IGraphBuilder**ppGraph,//Receivesthepointer ICaptureGraphBuilder2**ppBuilder)//Receivesthepointer { if(!ppGraph||!ppBuilder) { returnE_POINTER; } IGraphBuilder*pGraph=NULL; ICaptureGraphBuilder2*pBuild=NULL; //CreatetheCaptureGraphBuilder HRESULThr=CoCreateInstance(CLSID_CaptureGraphBuilder2,NULL, CLSCTX_INPROC_SERVER,IID_ICaptureGraphBuilder2, (void**)&pGraph); if(SECCEEDED(hr)) { //CreatetheFilterGraphManager hr=CoCreateInstance(CLSID_FilterGraph,0,CLSCTX_INPROC_SERVER, IID_IGraphBuilder,(void**)&pGraph); if(SECCEEDED(hr)) { //InitializetheCaptureGraphBuilder pBuild->SetFiltergraph(pGraph); //Returnbothinterfacepointerstothecaller *ppBuild=pBuild; *ppGraph=pGraph;//Thecallermustreleasebothinterface returnS_OK; } else { pBuild->Release(); } } returnhr;//Failed }
视频捕捉的设备
现在许多新的视频捕捉设备都采用的是WDM驱动方法,在WDM机制中,微软提供了一个独立于硬件设备的驱动,称为类驱动程序。驱动程序的供应商提供的驱动程序称为minidrivers。Minidrivers提供了直接和硬件打交道的函数,在这些函数中调用了类驱动。
在directshow的filter图表中,任何一个WDM捕捉设备都是做为一个WDMVideoCapture过滤器(Filter)出现。WDMVideoCapture过滤器根据驱动程序的特征构建自己的filter
Direcshow中视频捕捉的FilterPin的种类
捕捉Filter一般都有两个或多个输出pin,他们输出的媒体类型都一样,比如预览pin和捕捉pin,因此根据媒体类型就不能很好的区别这些pin。此时就要根据pin的功能来区别每个pin了,每个pin都有一个GUID,称为pin的种类。
如果想仔细的了解pin的种类,请看后面的相关内容WorkingwithPinCategories。对于大多数的应用来说,ICaptureGraphBuilder2提供了一些函数可以自动确定pin的种类。
预览pin和捕捉pin
视频捕捉Filter都提供了预览和捕捉的输出pin,预览pin用来将视频流在屏幕上显示,捕捉pin用来将视频流写入文件。
预览pin和输出pin有下面的区别:
1为了保证捕捉pin对视频桢流量,预览pin必要的时候可以停止。
2经过捕捉pin的视频桢都有时间戳,但是预览pin的视频流没有时间戳。
预览pin的视频流之所以没有时间戳的原因在于filter图表管理器在视频流里加一个很小的latency,如果捕捉时间被认为就是render时间的话,视频renderFilter就认为视频流有一个小小的延迟,如果此时renderfilter试图连续播放的时候,就会丢桢。去掉时间戳就保证了视频桢来了就可以播放,不用等待,也不丢桢。
- 预览pin的种类GUID为PIN_CATEGORY_PREVIEW
- 捕捉pin的种类GUID为PIN_CATEGORY_CAPTURE
VideoPortpin
VideoPort是一个介于视频设备(TV)和视频卡之间的硬件设备。同过VideoPort,视频数据可以直接发送到图像卡上,通过硬件的覆盖,视频可以直接在屏幕显示出来。VideoPort就是连接两个设备的。
使用VideoPort的最大好处是,不用CPU的任何工作,视频流直接写入内存中。
如果捕捉设备使用了VideoPort,捕捉Filter就用一个videoportpin代替预览pin。
videoportpin的种类GUID为PIN_CATEGORY_VIDEOPORT
一个捕捉filter至少有一个Capturepin,另外,它可能有一个预览pin和一个videoportpin,或者两者都没有,也许filter有很多的capturepin,和预览pin,每一个pin都代表一种媒体类型,因此一个filter可以有一个视频capturepin,视频预览pin,音频捕捉pin,音频预览pin。
UpstreamWDMFilters
在捕捉Filter之上,WDM设备可能需要额外的filters,下面就是这些filter
- TVTunerFilter
- TVAudioFilter.
- AnalogVideoCrossbarFilter
尽管这些都是一些独立的filter,但是他们可能代表的是同一个硬件设备,每个filter都控制设备的不同函数,这些filter通过pin连接起来,但是在pin中没有数据流动。因此,这些pin的连接和媒体类型无关。他们使用一个GUID值来定义一个给定设备的minidriver,例如:TVtunerFilter和videocapturefilter都支持同一种medium。
在实际应用中,如果你使用ICaptureGraphBuilder2来创建你的capturegraphs,这些filters就会自动被添加到你的graph中。更多的详细资料,可以参考WDMClassDriverFilters。
选择一个视频捕捉设备(Selectcapturedevice)
如何选择一个视频捕捉设备,可以采用系统设备枚举,详细资料参见UsingtheSystemDeviceEnumerator。enumerator可以根据filter的种类返回一个设备的monikers。Moniker是一个com对象,可以参见IMoniker的SDK。
对于捕捉设备,下面两种类是相关的。
- CLSID_AudioInputDeviceCategory音频设备
- CLSID_VideoInputDeviceCategory视频设备
下面的代码演示了如何枚举一个视频捕捉设备
ICreateDevEnum*pDevEnum=NULL; IEnumMoniker*pEnum=NULL; //Createthesystemdeviceenumerator HRESULThr=CoCreateInstance(CLSID_SystemDeviceEnum,NULL, CLSCT_INPROC_SERVER,IID_ICreateDevEnum, reinterpret_cast<void**>(&pDevEnum)); if(SUCCEEDED(hr)) { //创建一个枚举器,枚举视频设备 hr=pDevEnum->CreateClassEnumerator(CLSID_VideoInputDeviceCategory, &pEnum,0); }
IEnumMoniker接口pEnum返回一个IMoniker接口的列表,代表一系列的moniker,你可以显示所有的设备,然后让用户选择一个。
采用IMoniker::BindToStorage方法,返回一个IPropertyBag接口指针。然后调用IPropertyBag::Read读取moniker的属性。下面看看都包含什么属性:
1FriendlyName是设备的名字
2Description属性仅仅适用于DV和D-VHS/MPEG摄象机,如果这个属性可用,这个属性更详细的描述了设备的资料
3DevicePath这个属性是不可读的,但是每个设备都有一个独一无二的。你可以用这个属性来区别同一个设备的不同实例
下面的代码演示了如何显示遍历设备的名称,接上面的代码
HWNDhList;//Handletothelistbox IMoniker*pMoniker=NULL; while(pEnum->Next(1,&pMoniker,NULL)==S_OK) { IPropertyBag*pPropBag; hr=pMoniker->BindToStorage(0,0,IID_IPropertyBag,(void**)(&pPropBag)); if(FAILED(hr)) { pMoniker->Release(); continue;//Skipthisone,maybethenextonewillwork } VARIANTvarName; hr=pPropBag->Read(L"Description",&varName,0); if(FAILED(hr)) { hr=pPropBag->Read(L"FriendlyName",&varName,0); } if(SECCEEDED(hr)) { //Addittotheapplication'slistbox USES_CONVERSION; (long)SendMessage(hList,LB_ADDSTRING,0,(LPARAM)OLE2T(varName.bstrVal)); VariantClear(&varName); } pPropBag->Release(); pMoniker->Release(); }
如果用户选中了一个设备调用IMoniker::BindToObject为设备生成filter,然后将filter加入到graph中。
IBaseFilter*pCap=NULL; hr=pMoniker->BindToObject(0,0,IID_IBaseFilter,(void**)&pCap); if(SECCEEDED(hr)) { hr=m_pGraph->AddFilter(pCap,L"CaptureFilter");
为了创建可以预览视频的graph,可以调用下面的代码:
ICaptureGraphBuilder2*pBuild;//CaptureGraphBuilder //InitializepBuild(notshown) ... IBaseFilter*pCap;//Videocapturefilter hr=pBuild->RenderStream(&PIN_CATEGORY_PREVIEW,&MEDIATYPE_Video, pCap,NULL,NULL); }
如何捕捉视频流并保存到文件(CapturevideotoFile)
1将视频流保存到AVI文件
AVIMuxfilter接收从capturepin过来的视频流,然后将其打包成AVI流。音频流也可以连接到AVIMuxFilter上,这样muxfilter就将视频流和视频流合成AVI流。Filewriter将AVI流写入到文件中。
可以像下面这样构建graph图
IBaseFilter*pMux; hr=pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi,//SpecifiesAVIforthetargetfile L"C:\\Example.avi",//Filename &pMux,//Receivesapointertothemux NULL);//(Optional)Receivesapointertothefilesink
第一个参数表明文件的类型,这里表明是AVI,第二个参数是制定文件的名称。对于AVI文件,SetOutputFileName函数会创建一个AVImuxFilter和一个FilewriterFilter,并且将两个filter添加到graph图中,在这个函数中,通过FileWriterFilter请求IFileSinkFilter接口,然后调用IFileSinkFilter::SetFileName方法,设置文件的名称。然后将两个filter连接起来。第三个参数返回一个指向AVIMux的指针,同时,它也通过第四个参数返回一个IFileSinkFilter参数,如果你不需要这个参数,你可以将这个参数设置成NULL。
然后,你应该调用下面的函数将capturefilter和AVIMux连接起来。
hr=pBuild->RenderStream(&PIN_CATEGORY_CAPTURE,//Pincategory &MEDIATYPE_Video,//Mediatype pCap,//Capturefilter NULL,//Intermediatefilter(optional) pMux);//Muxorfilesinkfilter //Releasethemuxfilter pMux->Release();
第5个参数就是使用的上面函数返回的pMux指针。
当捕捉音频的时候,媒体类型要设置为MEDIATYPE_Audio,如果你从两个不同的设备捕捉视频和音频,你最好将音频设置成主流,这样可以防止两个数据流间drift,因为avimuxfilter为同步音频,会调整视频的播放速度的。为了设置master流,调用IConfigAviMux::SetMasterStream方法,可以采用如下的代码:
IConfigAviMux*pConfigMux=NULL; hr=pMux->QueryInterface(IID_IConfigAviMux,(void**)&pConfigMux); if(SUCCEEDED(hr)) { pConfigMux->SetMasterStream(1); pConfigMux->Release(); }
SetMasterStream的参数指的是数据流的数目,这个是由调用RenderStream的次序决定的。例如,如果你调用RenderStream首先用于视频流,然后是音频,那么视频流就是0,音频流就是1。
添加编码filter
IBaseFilter*pEncoder; //Addittothefiltergraph pGraph->AddFilter(pEncoder,L"Encode"); //Renderthestream hr=pBuild->RenderStream(&PIN_CATEGORY_CAPTURE,&MEDIATYPE_Video, pCap,pEncoder,pMux); pEncoder->Release();
2将视频流保存成wmv格式的文件
为了将视频流保存成并编码成windowsmediavideo(WMV)格式的文件,将capturepin连到WMASFWriterfilter。
构建graph图最简单的方法就是将在ICaptureGraphBuilder2::SetOutputFileName方法中指定MEDIASUBTYPE_Asf的filter。如下
IBaseFilter*pASFWriter=0; hr=pBuild->SetOutputFileName(&MEDIASUBTYPE_Asf,//Createawindowsmediafile L"C:\\VidCap.wmv",//Filename &pASFWriter,//Receivesapointertothefilter NULL);//ReceivesanIFileSinkFilterinterfacepointer(optional)
参数MEDIASUBTYPE_Asf告诉graphbuilder,要使用wmasfwriter作为文件接收器,于是,pbuild就创建这个filter,将其添加到graph图中,然后调用IFileSinkFilter::SetFileName来设置输出文件的名字。第三个参数用来返回一个ASFwriter指针,第四个参数用来返回文件的指针。
在将任何pin连接到WMASFWriter之前,一定要对WMASFWriter进行一下设置,你可以同过WMASFWriter的IConfigAsfWriter接口指针来进行设置。
IConfigAsfWriter*pConfig=0; hr=pASFWriter->QueryInterface(IID_IConfigAsfWriter,(void**)&pConfig); if(SUCCEEDED(hr)) { //ConfiguretheASFWriterfilter pConfig->Release(); }然后调用ICaptureGraphBuilder2::RenderStream将captureFilter和ASFwriter连接起来:
hr=pBuild->RenderStream(&PIN_CATEGORY_CAPTURE,//Capturepin &MEDIATYPE_Video,//Video.UseMEDIATYPE_Audioforaudio pCap,//Pointertothecapturefilter 0, pASFWriter);//Pointertothesinkfilter(ASFFilter)
3保存成自定义的文件格式
如果你想将文件保存成自己的格式,你必须有自己的filewriter。看下面的代码:
IBaseFilter*pMux=0; IFileSinkFilter*pSink=0; hr=pBuild->SetOutputFileName(&CLSID_MyCustomMuxFilter,//开发自己的Filter L"C:\\VidCap.avi",&pMux,&pSink);
4如何将视频流保存进多个文件
当你将视频流保存进一个文件后,如果你想开始保存第二个文件,这时,你应该首先将graph停止,然后通过IFileSinkFilter::SetFileName改变FileWriter的文件名称。注意,IFileSinkFilter指针你可以在SetOutputFileName时通过第四个参数返回的。
看看保存多个文件的代码:
IBaseFilter*pMux=0; IFileSinkFilter*pSink=0; hr=pBuild->SetOutputFileName(&MEDIASUBTYPE_Avi, L"C:\\YourFileName.avi",&pMux,&pSink); if(SUCCEEDED(hr)) { hr=pBuild->RenderStream(&PIN_CATEGORY_CAPTURE,&MEDIATYPE_Video, pCap,NULL,pMux); if(SUCCEEDED(hr)) { pControl->Run(); pControl->Stop(); //Changethefilenameandrunthegraphagain pSink->SetFileName(L"YourFileName02.avi",0); pControl->Run(); } pMux->Release(); pSink->Release(); }