어떻게 CMSampleBuffer 데이터에서 생성 된 CIImage에서 픽셀 값을 효율적으로 읽을 수 있습니까?

Question

iOS AVCaptureSesion에서 샘플 버퍼를 읽고 간단한 이미지 조작을 수행 한 다음 결과 이미지에서 픽셀을 분석합니다. 이미지 처리를 위해 openCV를 사용하여이 작업을 수행했지만 핵심 이미지로 전환하고 싶습니다.이 간단한 작업에보다 효율적으로 사용할 수 있기를 바랍니다. 그러나 나는 결과 CIImage에서 픽셀 값을 읽는 방법에 완전히 집착하고 있습니다.

CGImage로 백업 된 UIImage를 사용할 때 cgImage dataProvider를 사용하여 기본 픽셀 데이터에 액세스 할 수 있습니다 (아래 예 참조). CIImage의 아날로그는 무엇입니까? (수백 각 프레임에 대한 두 번째의 좋은 부분을 복용했다 - 나는 다음과 같이의 CGImage가있는 UIImage를 백업받을 CIContext를 사용하여 시도

// Getting sample video data 
    var session : AVCaptureSession = AVCaptureSession() 

    // processing the sample buffer with core image 
    func handleSampleBuffer(sampleBuffer: CMSampleBuffer) 
    {  
     let cvImage: CVPixelBuffer = CMSampleBufferGetImageBuffer(sampleBuffer)! 
     let ciImage: CIImage = CIImage(cvPixelBuffer: cvImage) 

     let filteredImage = processWithCoreImage(image: ciImage) 

     // 
    // How can I efficiently get pixel values from filtered image here? 
     // 
    } 

    func processWithCoreImage(image: CIImage) -> CIImage 
    { 
     // process with a core image filter chain 
     let filter1 = CIFilter(name: “…”)! 
     filter1.setValue(image, forKey: kCIInputImageKey) 
     filter1.setValue(…, forKey: …) 
     … 
     let outputImage = filter.outputImage 
     return outputImage 
    } 

    // With a regular UIImage I was doing something like this to get pixel data 
    // However CIImage does not have a cgImage backing it in this case. 
    public extension UIImage { 
     func getPixelValueGrayscale(x: Int, y: Int) -> UInt8 { 
      let pixelData = self.cgImage!.dataProvider!.data 
      let data: UnsafePointer<UInt8> = CFDataGetBytePtr(pixelData) 
      let pixelInfo: Int = ((Int(self.size.width) * Int(y)) + Int(x)) 
      return data[pixelInfo] 
     }  
    } 

하지만,이 끔찍하게 비효율적 증명 : 여기

내 일반적인 흐름이다 해당하는 openCV 작업보다 긴 시간).

// re-used CIContext 
let cgImage = context.createCGImage(filteredImage, from: ciImage.extent) 
let img = UIImage(cgImage: cgImage!) 

필자의 필터링 된 이미지는 작아야한다는 것을 명심해야합니다. 이것이 어떤 문제를 일으키는 지 모르겠습니다.

무엇이 누락 되었습니까? 감사.

업데이트 : 몇 가지 실험을 한 후 CI의 확장 옵션이 OpenCV에서 사용할 수있는 것보다 훨씬 느립니다. OpenCV를 확장하기 위해 프로젝트에만 포함시키는 것은 잘못되었습니다.

Answer 1

그러나 나는 결과 CIImage

개념은 의미가에서 픽셀 값을 읽는 방법에 완전히 붙어입니다. CIImage에는 픽셀 값이 없습니다. 그것은 이미지를 만들기위한 일련의 지시입니다. 그것은 코어 이미지의 포인트입니다. 렌더링 시간까지는 아무 일도 일어나지 않습니다. context.createCGImage(filteredImage, from: ciImage.extent)라고 말하면 은 렌더링 시간이이며 시간이 많이 걸리고 계산이 많이 소요되는 작업입니다.