基于C++实现kinect+opencv 获取深度及彩色数据

分类：C&C++作者：编程之家用户

开发环境 vs2010+OPENCV2.4.10

首先，下载最新的Kinect 2 SDK  http://www.microsoft.com/en-us/kinectforwindows/develop/downloads-docs.aspx

下载之后不要插入Kinect，最好也不用插入除了键盘鼠标以外的其它USB设备，然后安装SDK，安装完成之后插入Kinect，会有安装新设备的提示。安装完成之后可以去“开始”那里找到两个新安装的软件，一个是可以显示Kinect深度图，另外一个软件展示SDK中的各种例子程序。

进入SDK的安装目录，可以找到sample这个文件夹，里面是四种语言编写的例子，其中native是C++的，managed是C#的，还有另外两种语言不熟悉，我就熟悉C++，反正只是试试的，就用C++了。

opencv+kinect .cpp

#include <opencv2\opencv.hpp> 
#include<iostream>
//windows的头文件，必须要，不然NuiApi.h用不了
#include <Windows.h>
//Kinect for windows 的头文件
#include "NuiApi.h"
 
using namespace std;
using namespace cv;
 
#include <d3d11.h>
 
 
//最远距离(mm)
const int MAX_DISTANCE = 3500;
//最近距离(mm)
const int MIN_DISTANCE = 200;
 
const LONG m_depthWidth = 640;
const LONG m_depthHeight = 480;
const LONG m_colorWidth = 640;
const LONG m_colorHeight = 480;
const LONG cBytesPerPixel = 4;
 
int main()
{
  //彩色图像
  Mat image_rgb;
  //深度图像
  Mat image_depth;
 
  //创建一个MAT
  image_rgb.create(480,640,CV_8UC3);
  image_depth.create(480,CV_8UC1);
 
  //一个KINECT实例指针
  INuiSensor* m_pNuiSensor = NULL;
 
  if (m_pNuiSensor != NULL)
  {
    return 0;
  }
 
  //记录当前连接KINECT的数量（为多连接做准备）
  int iSensorCount;
  //获得当前KINECT的数量
  HRESULT hr = NuiGetSensorCount(&iSensorCount);
 
 
  //按照序列初始化KINETC实例，这里就连接了一个KINECT，所以没有用到循环
  hr = NuiCreateSensorByIndex(iSensorCount - 1,&m_pNuiSensor);
  //初始化，让其可以接收彩色和深度数据流
  hr = m_pNuiSensor->NuiInitialize(NUI_INITIALIZE_FLAG_USES_COLOR | NUI_INITIALIZE_FLAG_USES_DEPTH);
 
  //判断是否出错
  if (FAILED(hr))
  {
    cout<<"NuiInitialize failed"<<endl;
    return hr;
  }
 
  //彩色图像获取下一帧事件
  HANDLE nextColorFrameEvent = CreateEvent(NULL,TRUE,FALSE,NULL);
  //彩色图像事件句柄
  HANDLE colorStreamHandle = NULL;
  //深度图像获取下一帧事件
  HANDLE nextDepthFrameEvent = CreateEvent(NULL,NULL);
  //深度图像事件句柄
  HANDLE depthStreamHandle = NULL;
 
  //实例打开数据流，这里NUI_IMAGE_TYPE_COLOR表示彩色图像
  hr = m_pNuiSensor->NuiImageStreamOpen(NUI_IMAGE_TYPE_COLOR,NUI_IMAGE_RESOLUTION_640x480,2,nextColorFrameEvent,&colorStreamHandle);
 
  if( FAILED( hr ) )//判断是否提取正确
  {
    cout<<"Could not open color image stream video"<<endl;
    m_pNuiSensor->NuiShutdown();
    return hr;
  }
 
  //实例打开数据流，这里NUI_IMAGE_TYPE_DEPTH表示深度图像
  hr = m_pNuiSensor->NuiImageStreamOpen(NUI_IMAGE_TYPE_DEPTH,nextDepthFrameEvent,&depthStreamHandle);
 
  if( FAILED( hr ) )//判断是否提取正确
  {
    cout<<"Could not open color image stream video"<<endl;
    m_pNuiSensor->NuiShutdown();
    return hr;
  }
 
 
 
  cv::namedWindow("depth",CV_WINDOW_AUTOSIZE);
  moveWindow("depth",300,600);
  cv::namedWindow("colorImage",CV_WINDOW_AUTOSIZE);
  moveWindow("colorImage",200);
 
  while (1)
  {
    NUI_IMAGE_FRAME pImageFrame_rgb;
    NUI_IMAGE_FRAME pImageFrame_depth;
 
    //无限等待新的彩色数据，等到后返回
    if (WaitForSingleObject(nextColorFrameEvent,0) == 0)
    {
      //从刚才打开数据流的流句柄中得到该帧数据，读取到的数据地址存于pImageFrame
      hr = m_pNuiSensor->NuiImageStreamGetNextFrame(colorStreamHandle,&pImageFrame_rgb);
      if (FAILED(hr))
      {
        cout<<"Could not get color image"<<endl;
        m_pNuiSensor->NuiShutdown();
        return -1;
      }
 
      INuiFrameTexture *pTexture = pImageFrame_rgb.pFrameTexture;
      NUI_LOCKED_RECT lockedRect;
 
      //提取数据帧到LockedRect，它包括两个数据对象：pitch每行字节数，pBits第一个字节地址
      //并锁定数据，这样当我们读数据的时候，kinect就不会去修改它
 
 
      pTexture->LockRect(0,&lockedRect,NULL,0);
      //确认获得的数据是否有效
      if (lockedRect.Pitch != 0)
      {
        //将数据转换为OpenCV的Mat格式
        for (int i = 0; i < image_rgb.rows; i++)
        {
          //第i行的指针
          uchar *prt = image_rgb.ptr(i);
 
          //每个字节代表一个颜色信息，直接使用uchar
          uchar *pBuffer = (uchar*)(lockedRect.pBits) + i * lockedRect.Pitch;
 
          for (int j = 0; j < image_rgb.cols; j++)
          {  
            prt[3 * j] = pBuffer[4 * j];//内部数据是4个字节，0-1-2是BGR，第4个现在未使用
            prt[3 * j + 1] = pBuffer[4 * j + 1];
            prt[3 * j + 2] = pBuffer[4 * j + 2];
          }
        }
 
        imshow("colorImage",image_rgb);
        //解除锁定
        pTexture->UnlockRect(0);
        //释放帧
        m_pNuiSensor->NuiImageStreamReleaseFrame(colorStreamHandle,&pImageFrame_rgb );
      }
      else
      {
        cout<<"Buffer length of received texture is bogus\r\n"<<endl;
      }
 
      BOOL nearMode;
      INuiFrameTexture* pColorToDepthTexture; 
 
 
      //深度图像的处理
      if (WaitForSingleObject(nextDepthFrameEvent,INFINITE) == 0)
      {
 
        hr = m_pNuiSensor->NuiImageStreamGetNextFrame(depthStreamHandle,&pImageFrame_depth);
 
        if (FAILED(hr))
        {
          cout<<"Could not get color image"<<endl;
          NuiShutdown();
          return -1;
        }
 
        hr = m_pNuiSensor->NuiImageFrameGetDepthImagePixelFrameTexture( 
          depthStreamHandle,&pImageFrame_depth,&nearMode,&pColorToDepthTexture); 
        INuiFrameTexture *pTexture = pImageFrame_depth.pFrameTexture;
        NUI_LOCKED_RECT lockedRect;
        NUI_LOCKED_RECT ColorToDepthLockRect; 
 
        pTexture->LockRect(0,0);
        pColorToDepthTexture->LockRect(0,&ColorToDepthLockRect,0); 
 
        //归一化
        for (int i = 0; i < image_depth.rows; i++)
        {
          uchar *prt = image_depth.ptr<uchar>(i);
 
          uchar* pBuffer = (uchar*)(lockedRect.pBits) + i * lockedRect.Pitch;
          //这里需要转换，因为每个深度数据是2个字节，应将BYTE转成USHORT
          USHORT *pBufferRun = (USHORT*)pBuffer;
 
          for (int j = 0; j < image_depth.cols; j++)
          {
            //先向，将数据归一化处理，对深度距离在300mm-3500mm范围内的像素，映射到【0―255】内，
            //超出范围的，都去做是边缘像素
            if (pBufferRun[j] << 3 > MAX_DISTANCE) prt[j] = 255;
            else if(pBufferRun[j] << 3 < MIN_DISTANCE) prt[j] = 0;
            else prt[j] = (BYTE)(256 * (pBufferRun[j] << 3)/ MAX_DISTANCE);
          }
        }
        imshow("depth",image_depth);
 
 
 
        //接下来是对齐部分，将前景抠出来
 
        //存放深度点的参数
        NUI_DEPTH_IMAGE_POINT* depthPoints = new NUI_DEPTH_IMAGE_POINT[640 * 480];
        if (ColorToDepthLockRect.Pitch != 0) 
        { 
          HRESULT hrState = S_OK; 
           
          //一个能在不同空间坐标转变的类（包括：深度，彩色，骨骼）
          INuiCoordinateMapper* pMapper; 
 
          //设置KINECT实例的空间坐标系
          hrState = m_pNuiSensor->NuiGetCoordinateMapper(&pMapper); 
 
          if (FAILED(hrState)) 
          { 
            return hrState; 
          } 
 
          //重要的一步：从颜色空间映射到深度空间。参数说明：
          //【参数1】：彩色图像的类型
          //【参数2】：彩色图像的分辨率
          //【参数3】：深度图像的分辨率
          //【参数4】：深度图像的个数
          //【参数5】：深度像素点数
          //【参数6】：取内存的大小，个数。类型为NUI_DEPTH_IMAGE_PIXEL
          //【参数7】：存放映射结果点的参数
          hrState = pMapper->MapColorFrameToDepthFrame(NUI_IMAGE_TYPE_COLOR,640 * 480,(NUI_DEPTH_IMAGE_PIXEL*)ColorToDepthLockRect.pBits,depthPoints); 
 
          if (FAILED(hrState)) 
          { 
            return hrState; 
          } 
 
 
          //显示的图像
          Mat show;
          show.create(480,CV_8UC3);
          show = 0;
 
          for (int i = 0; i < image_rgb.rows; i++)
          {
            for (int j = 0; j < image_rgb.cols; j++)
            {
              uchar *prt_rgb = image_rgb.ptr(i);
              uchar *prt_show = show.ptr(i);
              //在内存中偏移量
              long index = i * 640 + j; 
              //从保存了映射坐标的数组中获取点
              NUI_DEPTH_IMAGE_POINT depthPointAtIndex = depthPoints[index]; 
 
              //边界判断
              if (depthPointAtIndex.x >= 0 && depthPointAtIndex.x < image_depth.cols &&
                depthPointAtIndex.y >=0 && depthPointAtIndex.y < image_depth.rows)
              {
                //深度判断，在MIN_DISTANCE与MAX_DISTANCE之间的当成前景，显示出来
                //这个使用也很重要，当使用真正的深度像素点再在深度图像中获取深度值来判断的时候，会出错
                if (depthPointAtIndex.depth >= MIN_DISTANCE && depthPointAtIndex.depth <= MAX_DISTANCE)
                {
                  prt_show[3 * j]   = prt_rgb[j * 3];
                  prt_show[3 * j + 1] = prt_rgb[j * 3 + 1];
                  prt_show[3 * j + 2] = prt_rgb[j * 3 + 2];
                }
              }
            }
          }
          imshow("show",show);
        }
 
        delete []depthPoints;
         
        pTexture->UnlockRect(0);
        m_pNuiSensor->NuiImageStreamReleaseFrame(depthStreamHandle,&pImageFrame_depth);
      }
 
      else
      {
        cout<<"Buffer length of received texture is bogus\r\n"<<endl;
      }
    }
 
    if (cvWaitKey(20) == 27)
      break;
  }
  return 0;
}

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

浅谈C/C++中的static和extern关键字
一.C语言中的static关键字 在C语言中，static可以用来修饰局部变量，全局变量以及函数。在不同的情况下static的作用不尽相同。 (1)修饰局部变量 一般情况下，对于局部变量是存放在栈区的，并且局部变量的生命周期在该语句块执行结束时便结束了。但是如果用static进行修饰的话，该变量便存
浅谈C/C++中的指针和数组（二）
浅谈C/C++中的指针和数组（二） 前面已经讨论了指针和数组的一些区别，然而在某些情况下，指针和数组是等同的，下面讨论一下什么时候指针和数组是相同的。C语言标准对此作了说明：规则1：表达式中的数组名被编译器当做一个指向该数组第一个元素的指针； 注：下面几种情况例外 1)数组名作为sizeof的操作数
浅谈C/C++中的指针和数组（一）
浅谈C/C++中的指针和数组（一）指针是C/C++的精华，而指针和数组又是一对欢喜冤家，很多时候我们并不能很好的区分指针和数组，对于刚毕业的计算机系的本科生很少有人能够熟练掌握指针以及数组的用法和区别。造成这种原因可能跟现在大学教学以及现在市面上流行的很多C或者C++教程有关，这些教程虽然通俗易懂，
从两个例子分析C语言的声明
从两个例子分析C语言的声明 在读《C专家编程》一书的第三章时，书中谈到C语言的声明问题，《C专家编程》这本书只有两百多页，却花了一章的内容去阐述这个问题，足以看出这个问题的重要性，要想透彻理解C语言的声明问题仅仅看书是远远不够的，需要平时多实践并大量阅读别人写的代码。下面借鉴《C专家编程》书中的两个
C语言文件操作解析(一)
C语言文件操作解析(一)在讨论C语言文件操作之前，先了解一下与文件相关的东西。一.文本文件和二进制文件 文本文件的定义：由若干行字符构成的计算机文件，存在于计算机系统中。文本文件只能存储文件中的有效字符信息，不能存储图像、声音等信息。狭义上的二进制文件则指除开文本文件之外的文件，如图片、DOC文档。
C语言文件操作解析(三)
C语言文件操作解析(三) 在前面已经讨论了文件打开操作，下面说一下文件的读写操作。文件的读写操作主要有4种，字符读写、字符串读写、块读写以及格式化读写。一.字符读写 字符读写主要使用两个函数fputc和fgetc，两个函数的原型是: int fputc(int ch,FILE *fp);若写入成功则
浅谈C语言中的位段
浅谈C语言中的位段 位段(bit-field)是以位为单位来定义结构体(或联合体)中的成员变量所占的空间。含有位段的结构体(联合体)称为位段结构。采用位段结构既能够节省空间，又方便于操作。 位段的定义格式为: type [var]:digits 其中type只能为int，unsigned int，s
C语言文件操作解析(五)之EOF解析
C语言文件操作解析(五)之EOF解析 在C语言中，有个符号大家都应该很熟悉，那就是EOF(End of File)，即文件结束符。但是很多时候对这个理解并不是很清楚，导致在写代码的时候经常出错，特别是在判断文件是否到达文件末尾时，常常出错。1.EOF是什么? 在VC中查看EOF的定义可知: #def
关于VC++6.0中getline函数的一个bug
关于VC+ʶ.0中getline函数的一个bug 最近在调试程序时，发现getline函数在VC+ʶ.0和其他编译器上运行结果不一样，比如有如下这段程序：#include &lt;iostream&gt;#include &lt;string&gt;using namespace std;int
浅谈C/C++的浮点数在内存中的存储方式
C/C++浮点数在内存中的存储方式 任何数据在内存中都是以二进制的形式存储的，例如一个short型数据1156，其二进制表示形式为00000100 10000100。则在Intel CPU架构的系统中，存放方式为 10000100(低地址单元) 00000100(高地址单元)，因为Intel CPU
浅析C/C++中的switch/case陷阱
浅析C/C++中的switch/case陷阱 先看下面一段代码： 文件main.cpp#includeusing namespace std;int main(int argc, char *argv[]){ int a =0; switch(a) { case ...
浅谈C/C++中的typedef和#define
浅谈C/C++中的typedef和#define 在C/C++中，我们平时写程序可能经常会用到typedef关键字和#define宏定义命令，在某些情况下使用它们会达到相同的效果，但是它们是有实质性的区别，一个是C/C++的关键字，一个是C/C++的宏定义命令，typedef用来为一个已有的数据类型
关于数组指针的一道面试题
看下面一道面试题：#include&lt;stdio.h&gt;#include&lt;stdlib.h&gt;int main(void) { int a[5]={1,2,3,4,5}; int *ptr=(int *)(&amp;aʱ); printf(&quot;%d,%d&quot;,*(
浅谈C语言中的联合体
联合体union 当多个数据需要共享内存或者多个数据每次只取其一时，可以利用联合体(union)。在C Programming Language 一书中对于联合体是这么描述的： 1)联合体是一个结构； 2)它的所有成员相对于基地址的偏移量都为0； 3)此结构空间要大到足够容纳最&quot;宽&quo
从一个程序的Bug解析C语言的类型转换
从一个程序的Bug解析C语言的类型转换 先看下面一段程序，这段程序摘自《C 专家编程》：#include&lt;stdio.h&gt;int array[]={23,34,12,17,204,99,16};#define TOTAL_ELEMENTS (sizeof(array)/sizeof(ar
大端和小端
大端和小端 嵌入式开发者应该对大端和小端很熟悉。在内存单元中数据是以字节为存储单位的，对于多字节数据，在小端模式中，低字节数据存放在低地址单元，而在大端模式中，低字节数据存放在高地址单元。比如一个定义一个short型的变量a，赋值为1，由于short型数据占2字节。在小端模式中，其存放方式为0X40
位运算和sizeof运算符
位运算和sizeof运算符 C语言中提供了一些运算符可以直接操作整数的位，称为位运算，因此位运算中的操作数都必须是整型的。位运算的效率是比较高的，而且位运算运用好的话会达到意想不到的效果。位运算主要有6种：与(&amp;)，或(|)，取反(~)，异或(^)，左移(&gt;)。1.位运算中的类型转换位
C语言文件操作解析(四)
C语言文件操作解析(四)在文件操作中除了打开操作以及读写操作，还有几种比较常见的操作。下面介绍一下这些操作中涉及到的函数。一.移动位置指针的函数 rewind函数和fseek函数，这两个函数的原型是:void rewind(FILE *fp); 将位置指针移动到文件首 int fseek(FILE
结构体字节对齐
结构体字节对齐 在用sizeof运算符求算某结构体所占空间时，并不是简单地将结构体中所有元素各自占的空间相加，这里涉及到内存字节对齐的问题。从理论上讲，对于任何变量的访问都可以从任何地址开始访问，但是事实上不是如此，实际上访问特定类型的变量只能在特定的地址访问，这就需要各个变量在空间上按一定的规则排
C语言文件操作解析(二)
C语言文件操作解析(二)C语言中对文件进行操作必须首先打开文件，打开文件主要涉及到fopen函数。fopen函数的原型为 FILE* fopen(const char *path,const char *mode) 其中path为文件路径，mode为打开方式 1)对于文件路径，只需注意若未明确给出绝
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot