如何將CVImageBufferRef轉換爲UIImage

Question

我試圖從相機捕捉視頻。我得到captureOutput:didOutputSampleBuffer:回調觸發，它給了我一個樣本緩衝區，然後我轉換爲CVImageBufferRef。然後我嘗試將該圖像轉換爲UIImage，然後我可以在我的應用程序中查看該圖像。

- (void)captureOutput:(AVCaptureOutput *)captureOutput didOutputSampleBuffer:(CMSampleBufferRef)sampleBuffer fromConnection:(AVCaptureConnection *)connection 
{ 
    CVImageBufferRef imageBuffer = CMSampleBufferGetImageBuffer(sampleBuffer); 
    /*Lock the image buffer*/ 
    CVPixelBufferLockBaseAddress(imageBuffer,0); 
    /*Get information about the image*/ 
    uint8_t *baseAddress = (uint8_t *)CVPixelBufferGetBaseAddress(imageBuffer); 
    size_t bytesPerRow = CVPixelBufferGetBytesPerRow(imageBuffer); 
    size_t width = CVPixelBufferGetWidth(imageBuffer); 
    size_t height = CVPixelBufferGetHeight(imageBuffer); 

    /*We unlock the image buffer*/ 
    CVPixelBufferUnlockBaseAddress(imageBuffer,0); 

    /*Create a CGImageRef from the CVImageBufferRef*/ 
    CGColorSpaceRef colorSpace = CGColorSpaceCreateDeviceRGB(); 
    CGContextRef newContext = CGBitmapContextCreate(baseAddress, width, height, 8, bytesPerRow, colorSpace, kCGBitmapByteOrder32Little | kCGImageAlphaPremultipliedFirst); 
    CGImageRef newImage = CGBitmapContextCreateImage(newContext); 

    /*We release some components*/ 
    CGContextRelease(newContext); 
    CGColorSpaceRelease(colorSpace); 

    /*We display the result on the custom layer*/ 
    /*self.customLayer.contents = (id) newImage;*/ 

    /*We display the result on the image view (We need to change the orientation of the image so that the video is displayed correctly)*/ 
    UIImage *image= [UIImage imageWithCGImage:newImage scale:1.0 orientation:UIImageOrientationRight]; 
    self.capturedView.image = image; 

    /*We relase the CGImageRef*/ 
    CGImageRelease(newImage); 
} 

代碼似乎正常工作，直到調用CGBitmapContextCreate。它總是返回一個NULL指針。所以其餘的功能都不起作用。無論我似乎傳遞它，函數返回null。我不知道爲什麼。

Answer 1

要傳遞的baseAddress的方式假定所述圖像數據的形式是

ACCC

（其中C是一些顏色分量，R || ||ģB）。

如果您已經將AVCaptureSession設置爲以本機格式捕獲視頻幀，則很可能您將視頻數據恢復爲平面YUV420格式。 （請參閱：link text）爲了完成您在此嘗試做的事情，最簡單的做法可能是指定您希望在kCVPixelFormatType_32RGBA中捕獲視頻幀。 Apple建議您捕捉kCVPixelFormatType_32BGRA中的視頻幀（如果您完全採用非平面格式捕捉視頻幀），其原因沒有說明，但我可以合理地假設是由於性能方面的考慮。

警告：我沒有這樣做，並且假設訪問像這樣的CVPixelBufferRef內容是構建圖像的合理方法。我不能擔保這個實際工作，但我/可以/告訴你，你現在正在做的事情的方式可靠地不會工作，因爲你是（可能）捕獲視頻幀的像素格式。

Answer 2

Benjamin Loulier在考慮速度和多種方法的情況下寫了一篇關於輸出CVImageBufferRef的非常好的帖子。

您也可以在github工作的例子;）

怎麼樣的時候回來？ ;） 這裏你去：http://web.archive.org/web/20140426162537/http://www.benjaminloulier.com/posts/ios4-and-direct-access-to-the-camera

Answer 3

如果你只是需要將CVImageBufferRef轉換爲UIImage，它似乎比它應該更加困難。基本上你需要轉換爲CIImage，然後是CGImage，然後是UIImage。我希望我能告訴你爲什麼。誰知道。

-(void) screenshotOfVideoStream:(CVImageBufferRef)imageBuffer 
{ 
    CIImage *ciImage = [CIImage imageWithCVPixelBuffer:imageBuffer]; 
    CIContext *temporaryContext = [CIContext contextWithOptions:nil]; 
    CGImageRef videoImage = [temporaryContext 
          createCGImage:ciImage 
          fromRect:CGRectMake(0, 0, 
          CVPixelBufferGetWidth(imageBuffer), 
          CVPixelBufferGetHeight(imageBuffer))]; 

    UIImage *image = [[UIImage alloc] initWithCGImage:videoImage]; 
    [self doSomethingWithOurUIImage:image]; 
    CGImageRelease(videoImage); 
} 

這種特殊的方式爲我工作，當我使用VTDecompressionSession回調以獲取CVImageBufferRef（但它應該對任何CVImageBufferRef工作）轉換H.264視頻。我使用的是iOS 8.1，XCode 6.2。

Answer 4

您可以直接撥打：

self.yourImageView.image=[[UIImage alloc] initWithCIImage:[CIImage imageWithCVPixelBuffer:imageBuffer]];