基于C++实现kinect+opencv 获取深度及彩色数据
开发环境vs2010+OPENCV2.4.10
首先，下载最新的Kinect2SDK http://www.microsoft.com/en-us/kinectforwindows/develop/downloads-docs.aspx
下载之后不要插入Kinect，最好也不用插入除了键盘鼠标以外的其它USB设备，然后安装SDK，安装完成之后插入Kinect，会有安装新设备的提示。安装完成之后可以去“开始”那里找到两个新安装的软件，一个是可以显示Kinect深度图，另外一个软件展示SDK中的各种例子程序。
进入SDK的安装目录，可以找到sample这个文件夹，里面是四种语言编写的例子，其中native是C++的，managed是C#的，还有另外两种语言不熟悉，我就熟悉C++，反正只是试试的，就用C++了。
opencv+kinect.cpp
#include<opencv2\opencv.hpp>
#include<iostream>
//windows的头文件，必须要，不然NuiApi.h用不了
#include<Windows.h>
//Kinectforwindows的头文件
#include"NuiApi.h"
usingnamespacestd;
usingnamespacecv;
#include<d3d11.h>
//最远距离(mm)
constintMAX_DISTANCE=3500;
//最近距离(mm)
constintMIN_DISTANCE=200;
constLONGm_depthWidth=640;
constLONGm_depthHeight=480;
constLONGm_colorWidth=640;
constLONGm_colorHeight=480;
constLONGcBytesPerPixel=4;
intmain()
{
//彩色图像
Matimage_rgb;
//深度图像
Matimage_depth;
//创建一个MAT
image_rgb.create(480,640,CV_8UC3);
image_depth.create(480,640,CV_8UC1);
//一个KINECT实例指针
INuiSensor*m_pNuiSensor=NULL;
if(m_pNuiSensor!=NULL)
{
return0;
}
//记录当前连接KINECT的数量（为多连接做准备）
intiSensorCount;
//获得当前KINECT的数量
HRESULThr=NuiGetSensorCount(&iSensorCount);
//按照序列初始化KINETC实例，这里就连接了一个KINECT，所以没有用到循环
hr=NuiCreateSensorByIndex(iSensorCount-1,&m_pNuiSensor);
//初始化，让其可以接收彩色和深度数据流
hr=m_pNuiSensor->NuiInitialize(NUI_INITIALIZE_FLAG_USES_COLOR|NUI_INITIALIZE_FLAG_USES_DEPTH);
//判断是否出错
if(FAILED(hr))
{
cout<<"NuiInitializefailed"<<endl;
returnhr;
}
//彩色图像获取下一帧事件
HANDLEnextColorFrameEvent=CreateEvent(NULL,TRUE,FALSE,NULL);
//彩色图像事件句柄
HANDLEcolorStreamHandle=NULL;
//深度图像获取下一帧事件
HANDLEnextDepthFrameEvent=CreateEvent(NULL,TRUE,FALSE,NULL);
//深度图像事件句柄
HANDLEdepthStreamHandle=NULL;
//实例打开数据流，这里NUI_IMAGE_TYPE_COLOR表示彩色图像
hr=m_pNuiSensor->NuiImageStreamOpen(NUI_IMAGE_TYPE_COLOR,NUI_IMAGE_RESOLUTION_640x480,0,2,nextColorFrameEvent,&colorStreamHandle);
if(FAILED(hr))//判断是否提取正确
{
cout<<"Couldnotopencolorimagestreamvideo"<<endl;
m_pNuiSensor->NuiShutdown();
returnhr;
}
//实例打开数据流，这里NUI_IMAGE_TYPE_DEPTH表示深度图像
hr=m_pNuiSensor->NuiImageStreamOpen(NUI_IMAGE_TYPE_DEPTH,NUI_IMAGE_RESOLUTION_640x480,0,2,nextDepthFrameEvent,&depthStreamHandle);
if(FAILED(hr))//判断是否提取正确
{
cout<<"Couldnotopencolorimagestreamvideo"<<endl;
m_pNuiSensor->NuiShutdown();
returnhr;
}
cv::namedWindow("depth",CV_WINDOW_AUTOSIZE);
moveWindow("depth",300,600);
cv::namedWindow("colorImage",CV_WINDOW_AUTOSIZE);
moveWindow("colorImage",0,200);
while(1)
{
NUI_IMAGE_FRAMEpImageFrame_rgb;
NUI_IMAGE_FRAMEpImageFrame_depth;
//无限等待新的彩色数据，等到后返回
if(WaitForSingleObject(nextColorFrameEvent,0)==0)
{
//从刚才打开数据流的流句柄中得到该帧数据，读取到的数据地址存于pImageFrame
hr=m_pNuiSensor->NuiImageStreamGetNextFrame(colorStreamHandle,0,&pImageFrame_rgb);
if(FAILED(hr))
{
cout<<"Couldnotgetcolorimage"<<endl;
m_pNuiSensor->NuiShutdown();
return-1;
}
INuiFrameTexture*pTexture=pImageFrame_rgb.pFrameTexture;
NUI_LOCKED_RECTlockedRect;
//提取数据帧到LockedRect，它包括两个数据对象：pitch每行字节数，pBits第一个字节地址
//并锁定数据，这样当我们读数据的时候，kinect就不会去修改它
pTexture->LockRect(0,&lockedRect,NULL,0);
//确认获得的数据是否有效
if(lockedRect.Pitch!=0)
{
//将数据转换为OpenCV的Mat格式
for(inti=0;i<image_rgb.rows;i++)
{
//第i行的指针
uchar*prt=image_rgb.ptr(i);
//每个字节代表一个颜色信息，直接使用uchar
uchar*pBuffer=(uchar*)(lockedRect.pBits)+i*lockedRect.Pitch;
for(intj=0;j<image_rgb.cols;j++)
{
prt[3*j]=pBuffer[4*j];//内部数据是4个字节，0-1-2是BGR，第4个现在未使用
prt[3*j+1]=pBuffer[4*j+1];
prt[3*j+2]=pBuffer[4*j+2];
}
}
imshow("colorImage",image_rgb);
//解除锁定
pTexture->UnlockRect(0);
//释放帧
m_pNuiSensor->NuiImageStreamReleaseFrame(colorStreamHandle,&pImageFrame_rgb);
}
else
{
cout<<"Bufferlengthofreceivedtextureisbogus\r\n"<<endl;
}
BOOLnearMode;
INuiFrameTexture*pColorToDepthTexture;
//深度图像的处理
if(WaitForSingleObject(nextDepthFrameEvent,INFINITE)==0)
{
hr=m_pNuiSensor->NuiImageStreamGetNextFrame(depthStreamHandle,0,&pImageFrame_depth);
if(FAILED(hr))
{
cout<<"Couldnotgetcolorimage"<<endl;
NuiShutdown();
return-1;
}
hr=m_pNuiSensor->NuiImageFrameGetDepthImagePixelFrameTexture(
depthStreamHandle,&pImageFrame_depth,&nearMode,&pColorToDepthTexture);
INuiFrameTexture*pTexture=pImageFrame_depth.pFrameTexture;
NUI_LOCKED_RECTlockedRect;
NUI_LOCKED_RECTColorToDepthLockRect;
pTexture->LockRect(0,&lockedRect,NULL,0);
pColorToDepthTexture->LockRect(0,&ColorToDepthLockRect,NULL,0);
//归一化
for(inti=0;i<image_depth.rows;i++)
{
uchar*prt=image_depth.ptr<uchar>(i);
uchar*pBuffer=(uchar*)(lockedRect.pBits)+i*lockedRect.Pitch;
//这里需要转换，因为每个深度数据是2个字节，应将BYTE转成USHORT
USHORT*pBufferRun=(USHORT*)pBuffer;
for(intj=0;j<image_depth.cols;j++)
{
//先向，将数据归一化处理，对深度距离在300mm-3500mm范围内的像素，映射到【0—255】内，
//超出范围的，都去做是边缘像素
if(pBufferRun[j]<<3>MAX_DISTANCE)prt[j]=255;
elseif(pBufferRun[j]<<3<MIN_DISTANCE)prt[j]=0;
elseprt[j]=(BYTE)(256*(pBufferRun[j]<<3)/MAX_DISTANCE);
}
}
imshow("depth",image_depth);
//接下来是对齐部分，将前景抠出来
//存放深度点的参数
NUI_DEPTH_IMAGE_POINT*depthPoints=newNUI_DEPTH_IMAGE_POINT[640*480];
if(ColorToDepthLockRect.Pitch!=0)
{
HRESULThrState=S_OK;
//一个能在不同空间坐标转变的类（包括：深度，彩色，骨骼）
INuiCoordinateMapper*pMapper;
//设置KINECT实例的空间坐标系
hrState=m_pNuiSensor->NuiGetCoordinateMapper(&pMapper);
if(FAILED(hrState))
{
returnhrState;
}
//重要的一步：从颜色空间映射到深度空间。参数说明：
//【参数1】：彩色图像的类型
//【参数2】：彩色图像的分辨率
//【参数3】：深度图像的分辨率
//【参数4】：深度图像的个数
//【参数5】：深度像素点数
//【参数6】：取内存的大小，个数。类型为NUI_DEPTH_IMAGE_PIXEL
//【参数7】：存放映射结果点的参数
hrState=pMapper->MapColorFrameToDepthFrame(NUI_IMAGE_TYPE_COLOR,NUI_IMAGE_RESOLUTION_640x480,NUI_IMAGE_RESOLUTION_640x480,
640*480,(NUI_DEPTH_IMAGE_PIXEL*)ColorToDepthLockRect.pBits,640*480,depthPoints);
if(FAILED(hrState))
{
returnhrState;
}
//显示的图像
Matshow;
show.create(480,640,CV_8UC3);
show=0;
for(inti=0;i<image_rgb.rows;i++)
{
for(intj=0;j<image_rgb.cols;j++)
{
uchar*prt_rgb=image_rgb.ptr(i);
uchar*prt_show=show.ptr(i);
//在内存中偏移量
longindex=i*640+j;
//从保存了映射坐标的数组中获取点
NUI_DEPTH_IMAGE_POINTdepthPointAtIndex=depthPoints[index];
//边界判断
if(depthPointAtIndex.x>=0&&depthPointAtIndex.x<image_depth.cols&&
depthPointAtIndex.y>=0&&depthPointAtIndex.y<image_depth.rows)
{
//深度判断，在MIN_DISTANCE与MAX_DISTANCE之间的当成前景，显示出来
//这个使用也很重要，当使用真正的深度像素点再在深度图像中获取深度值来判断的时候，会出错
if(depthPointAtIndex.depth>=MIN_DISTANCE&&depthPointAtIndex.depth<=MAX_DISTANCE)
{
prt_show[3*j]=prt_rgb[j*3];
prt_show[3*j+1]=prt_rgb[j*3+1];
prt_show[3*j+2]=prt_rgb[j*3+2];
}
}
}
}
imshow("show",show);
}
delete[]depthPoints;
pTexture->UnlockRect(0);
m_pNuiSensor->NuiImageStreamReleaseFrame(depthStreamHandle,&pImageFrame_depth);
}
else
{
cout<<"Bufferlengthofreceivedtextureisbogus\r\n"<<endl;
}
}
if(cvWaitKey(20)==27)
break;
}
return0;
}