YUV_420_888을 Android 카메라 2의 비트 맵으로 변환하는 잘못된 이미지

Question

카메라 2 미리보기에서 YUV_420_888 이미지를 비트 맵으로 변환하려고합니다. 그러나 출력 이미지의 색상이 올바르지 않습니다.

다음은 비트 맵을 생성하기 위해 실행중인 테스트 코드입니다. 테스트 코드 일 뿐이므로 비트 맵을 재활용하거나 RenderScript를 계속 작성하는 것과 같은 관련 요소에 대한 코드 검토를하지 마십시오. 이 코드는 YUV에서 RGB 로의 변환을 테스트하는 것입니다.

다른 요인은, 코드가있는 경우 필요한 경우에만 이전 안드로이드 버전으로 인해 적절한 부족으로 오래된 수동 변환을 사용하지 않고, 따라서 충분해야 RenderScript 특정 ScriptIntrinsicYuvToRGB를 사용하여 위의 API (22)에서 실행하기위한 것입니다 YUV_420_888 지원.

RenderScript는 모든 유형의 YUV 변환을 처리하기위한 전용 ScriptIntrinsicYuvToRGB를 이미 제공하고 있기 때문에 Image 객체에서 YUV 바이트 데이터를 가져 오는 방법에 문제가있을 수 있지만 문제가 어디에 있는지 파악할 수는 없다고 생각합니다. 입니다.

Android Studio에서 출력 비트 맵을 보려면 bitmap.recycle()에 중단 점을 배치하면 재활용되기 전에 "비트 맵보기"옵션을 사용하여 변수 디버그 창에서 볼 수 있습니다.

사람이 변환에 문제가 있는지 발견 할 수 있는지 알려 주시기 바랍니다 :

@Override 
public void onImageAvailable(ImageReader reader) 
{ 
    RenderScript rs = RenderScript.create(this.mContext); 

    final Image image = reader.acquireLatestImage(); 

    final Image.Plane[] planes = image.getPlanes(); 
    final ByteBuffer planeY = planes[0].getBuffer(); 
    final ByteBuffer planeU = planes[1].getBuffer(); 
    final ByteBuffer planeV = planes[2].getBuffer(); 

    // Get the YUV planes data 

    final int Yb = planeY.rewind().remaining(); 
    final int Ub = planeU.rewind().remaining(); 
    final int Vb = planeV.rewind().remaining(); 

    final ByteBuffer yuvData = ByteBuffer.allocateDirect(Yb + Ub + Vb); 

    planeY.get(yuvData.array(), 0, Yb); 
    planeU.get(yuvData.array(), Yb, Vb); 
    planeV.get(yuvData.array(), Yb + Vb, Ub); 

    // Initialize Renderscript 

    Type.Builder yuvType = new Type.Builder(rs, Element.YUV(rs)) 
      .setX(image.getWidth()) 
      .setY(image.getHeight()) 
      .setYuvFormat(ImageFormat.YUV_420_888); 

    final Type.Builder rgbaType = new Type.Builder(rs, Element.RGBA_8888(rs)) 
      .setX(image.getWidth()) 
      .setY(image.getHeight()); 

    Allocation yuvAllocation = Allocation.createTyped(rs, yuvType.create(), Allocation.USAGE_SCRIPT); 
    Allocation rgbAllocation = Allocation.createTyped(rs, rgbaType.create(), Allocation.USAGE_SCRIPT); 

    // Convert 

    yuvAllocation.copyFromUnchecked(yuvData.array()); 

    ScriptIntrinsicYuvToRGB scriptYuvToRgb = ScriptIntrinsicYuvToRGB.create(rs, Element.YUV(rs)); 
    scriptYuvToRgb.setInput(yuvAllocation); 
    scriptYuvToRgb.forEach(rgbAllocation); 

    // Get the bitmap 

    Bitmap bitmap = Bitmap.createBitmap(image.getWidth(), image.getHeight(), Bitmap.Config.ARGB_8888); 
    rgbAllocation.copyTo(bitmap); 

    // Release 

    bitmap.recycle(); 

    yuvAllocation.destroy(); 
    rgbAllocation.destroy(); 
    rs.destroy(); 

    image.close(); 
} 

Answer 1

내 자신의 질문에 답하면 실제 문제는 이미지 평면을 ByteBuffer로 변환하는 방법에서 의심 스러웠습니다. 다음 솔루션은 NV21 & YV12 모두에서 작동합니다. YUV 데이터는 이미 별개의 평면으로 제공되므로 행과 픽셀 스트라이드를 기반으로 올바른 방법으로 가져 오는 것입니다. 또한 데이터가 RenderScript 내장 함수에 전달되는 방법에 약간의 수정이 필요했습니다.

@Override 
public void onImageAvailable(ImageReader reader) 
{ 
    // Get the YUV data 

    final Image image = reader.acquireLatestImage(); 
    final ByteBuffer yuvBytes = this.imageToByteBuffer(image); 

    // Convert YUV to RGB 

    final RenderScript rs = RenderScript.create(this.mContext); 

    final Bitmap  bitmap  = Bitmap.createBitmap(image.getWidth(), image.getHeight(), Bitmap.Config.ARGB_8888); 
    final Allocation allocationRgb = Allocation.createFromBitmap(rs, bitmap); 

    final Allocation allocationYuv = Allocation.createSized(rs, Element.U8(rs), yuvBytes.array().length); 
    allocationYuv.copyFrom(yuvBytes); 

    scriptYuvToRgb = ScriptIntrinsicYuvToRGB.create(rs, Element.U8_4(rs)); 
    scriptYuvToRgb.setInput(allocationYuv); 
    scriptYuvToRgb.forEach(allocationRgb); 

    allocationRgb.copyTo(bitmap); 

    // Release 

    bitmap.recycle(); 

    yuvAllocation.destroy(); 
    rgbAllocation.destroy(); 
    rs.destroy(); 

    image.close(); 
} 

private ByteBuffer imageToByteBuffer(final Image image) 
{ 
    final Rect crop = image.getCropRect(); 
    final int width = crop.width(); 
    final int height = crop.height(); 

    final Image.Plane[] planes  = image.getPlanes(); 
    final byte[]  rowData = new byte[planes[0].getRowStride()]; 
    final int   bufferSize = size.getWidth() * size.getHeight() * ImageFormat.getBitsPerPixel(ImageFormat.YUV_420_888)/8; 
    final ByteBuffer output  = ByteBuffer.allocateDirect(bufferSize); 

    int channelOffset = 0; 
    int outputStride = 0; 

    for (int planeIndex = 0; planeIndex < 3; planeIndex++) 
    { 
     if (planeIndex == 0) 
     { 
      channelOffset = 0; 
      outputStride = 1; 
     } 
     else if (planeIndex == 1) 
     { 
      channelOffset = width * height + 1; 
      outputStride = 2; 
     } 
     else if (planeIndex == 2) 
     { 
      channelOffset = width * height; 
      outputStride = 2; 
     } 

     final ByteBuffer buffer  = planes[planeIndex].getBuffer(); 
     final int  rowStride = planes[planeIndex].getRowStride(); 
     final int  pixelStride = planes[planeIndex].getPixelStride(); 

     final int shift   = (planeIndex == 0) ? 0 : 1; 
     final int widthShifted = width >> shift; 
     final int heightShifted = height >> shift; 

     buffer.position(rowStride * (crop.top >> shift) + pixelStride * (crop.left >> shift)); 

     for (int row = 0; row < heightShifted; row++) 
     { 
      final int length; 

      if (pixelStride == 1 && outputStride == 1) 
      { 
       length = widthShifted; 
       buffer.get(output.array(), channelOffset, length); 
       channelOffset += length; 
      } 
      else 
      { 
       length = (widthShifted - 1) * pixelStride + 1; 
       buffer.get(rowData, 0, length); 

       for (int col = 0; col < widthShifted; col++) 
       { 
        output.array()[channelOffset] = rowData[col * pixelStride]; 
        channelOffset += outputStride; 
       } 
      } 

      if (row < heightShifted - 1) 
      { 
       buffer.position(buffer.position() + rowStride - length); 
      } 
     } 
    } 

    return output; 
} 

Answer 2

는 RS 할당으로의 YUV_420_888 카메라 프레임을 복사 할 수는 없습니다. 사실, 오늘 현재로, Renderscript does not support this format.

프레임 아래에 프레임이 NV21 또는 YV12 인 경우 전체 ByteBuffer를 배열에 복사하고 RS 할당으로 전달할 수 있습니다.