从视频中读取帧时如何转换为OpenGL ES 2.0中使用的16位像素格式AV Foundation

如何解决从视频中读取帧时如何转换为OpenGL ES 2.0中使用的16位像素格式AV Foundation

| 我正在使用OpenGL对1280x720快速时间视频的每一帧进行一些图像处理。然后读取这些帧，并从中创建新的视频。问题是需要与OpenGL之间来回传输大量数据（使用glTexImage2D和glReadPixels），导致处理过程非常缓慢。 目前，我正在使用kCVPixelFormatType_32BGRA作为AVAssetReaderTrackOutput实例的像素格式。为了减少时间消耗，我想改用16位像素格式。不幸的是，在调用AVAssetReaderTrackOutput \的copyNextSampleBuffer方法时，更改为这种格式会给我空白的帧。有没有人在AV Foundation中使用16位像素格式的经验？ 如果我无法让AV Foundation为我更改格式，我想可以“手动”将32位转换为16位，也许可以使用NEON指令？任何帮助表示赞赏。     

解决方法

进一步的修订，现在是社区Wiki，因为仅在回答这个问题时我犯了太多错误，所以很有意义。 尽管CoreGraphics可以使用以下代码初步为您完成32位到16位的转换，但它报告说\“ 4整数位/分量； 16位/像素； 3分量颜色空间； kCGImageAlphaPremultipliedLast \”是不支持的参数组合。因此，CoreGraphics似乎无法在内部理解4位/通道图像。

CGColorSpaceRef colourSpace = CGColorSpaceCreateDeviceRGB();
CGDataProviderRef dataProvider = CGDataProviderCreateWithData(NULL,buffer,width*height*4,NULL);
CGImageRef inputImage = CGImageCreate(  width,height,8,32,width*4,colourSpace,kCGImageAlphaPremultipliedLast | kCGBitmapByteOrder32Big,dataProvider,NULL,NO,kCGRenderingIntentDefault);
CGDataProviderRelease(dataProvider);

unsigned char *outputImage = (unsigned char *)malloc(width*height*2);
CGContextRef targetContext = CGBitmapContextCreate( outputImage,width,4,width*2,kCGImageAlphaPremultipliedLast | kCGBitmapByteOrder32Big);
CGContextDrawImage(targetContext,CGRectMake(0,height),inputImage);

/* uplopad outputImage to OpenGL here! */

CGContextRelease(targetContext);
CGImageRelease(inputImage);
CGColorSpaceRelease(colourSpace);
free(outputImage);

但是，根据文档：   支持的像素格式是   kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange，   kCVPixelFormatType_420YpCbCr8BiPlanarFullRange   和kCVPixelFormatType_32BGRA，除了   在支持的iPhone 3G上   像素格式是   kCVPixelFormatType_422YpCbCr8和   kCVPixelFormatType_32BGRA。 因此，为了减小接收到的大小，可以切换到YCbCr颜色空间。当缓冲区返回双平面（即整个图像的所有y分量，然后所有Cb和Cr分量作为一个单独的块）时，您可以将它们作为两个单独的纹理上载到OpenGL，并在着色器中重新组合，假设乐意将自己限制在3GS及更高版本，并且可以负担得起在SGX iOS设备上可用的8个纹理单元中的2个。 YCbCr是一种颜色空间，它将颜色分别表示为亮度（Y）和颜色（CbCr）。从经验上可以看出，可以以比亮度更低的频率对颜色通道进行采样，而任何人都无法分辨。像素格式的“ 420”部分描述了每个4个Y分量获得多少Cb和Cr分量–本质上讲，这告诉您，每四个Y采样得到一个Cb样本和一个Cr因此，您总共有六个字节来描述四个像素，在RGB中为12位/像素，而不是24位/像素。这样可以节省50％的存储空间。 出于GL的目的，您可能要支付额外的费用，因为它是两次上传而不是一次上传。如果要避免依赖的纹理读取，还需要使用三个变体，而且我认为SGX限于其中的八个。