Windows.Media.FaceAnalysis DetectedFace 목록을 제공하여 Microsoft인지 서비스를 사용하여 얼굴 특성을 검색하는 방법?

Question

라이브 웹 캠에서 얼굴을 Windows.Media.FaceAnalysis DetectedFace 개체의 목록으로 가져올 수 있습니다. 이제는 Microsoft Cognitive Services API에 이러한 얼굴을 전달하여 얼굴을 감지하고 얼굴 특성을 얻고 싶습니다. 어떻게해야합니까?

IList<DetectedFace> faces = null; 

// Create a VideoFrame object specifying the pixel format we want our capture image to be (NV12 bitmap in this case). 
// GetPreviewFrame will convert the native webcam frame into this format. 
const BitmapPixelFormat InputPixelFormat = BitmapPixelFormat.Nv12; 
using (VideoFrame previewFrame = new VideoFrame(InputPixelFormat, (int)this.videoProperties.Width, (int)this.videoProperties.Height)) 
{ 
    await this.mediaCapture.GetPreviewFrameAsync(previewFrame); 

    // The returned VideoFrame should be in the supported NV12 format but we need to verify this. 
    if (FaceDetector.IsBitmapPixelFormatSupported(previewFrame.SoftwareBitmap.BitmapPixelFormat)) 
    { 
     faces = await this.faceDetector.DetectFacesAsync(previewFrame.SoftwareBitmap); 

     // Now pass this faces to Cognitive services API 
     // faceClient.DetectAsync 
    } 
} 

Answer 1

DetectedFace 개체는 실제 얼굴의 경계 상자를 포함합니다. 따라서이 지식을 사용하여 얼굴의 메모리 내 스트림을 만들어 Face Client으로 보낼 수 있습니다.

private async Task DetectAsync() 
{ 
    IList<DetectedFace> faces = null; 
    const BitmapPixelFormat InputPixelFormat = BitmapPixelFormat.Nv12; 
    using (VideoFrame destinationPreviewFrame = new VideoFrame(InputPixelFormat, 640, 480)) 
    { 
     await this._mediaCapture.GetPreviewFrameAsync(destinationPreviewFrame); 

     if (FaceDetector.IsBitmapPixelFormatSupported(InputPixelFormat)) 
     { 
      faces = await this.faceDetector.DetectFacesAsync(destinationPreviewFrame.SoftwareBitmap); 

      foreach (var face in faces) 
      { 
       // convert NV12 to RGBA16 format 
       SoftwareBitmap convertedBitmap = SoftwareBitmap.Convert(destinationPreviewFrame.SoftwareBitmap, BitmapPixelFormat.Rgba16); 

       // get the raw bytes of the detected face 
       byte[] rawBytes = await GetBytesFromBitmap(convertedBitmap, BitmapEncoder.BmpEncoderId, face.FaceBox); 

       // read the bitmap and send it to the face client 
       using (Stream stream = rawBytes.AsBuffer().AsStream()) 
       { 
        var faceAttributesToReturn = new List<FaceAttributeType>() 
        { 
         FaceAttributeType.Age, 
         FaceAttributeType.Emotion, 
         FaceAttributeType.Hair 
        }; 

        Face[] detectedFaces = await this.faceClient.DetectAsync(stream, true, true, faceAttributesToReturn); 

        Debug.Assert(detectedFaces.Length > 0); 
       } 
      } 
     } 
    } 
} 

private async Task<byte[]> GetBytesFromBitmap(SoftwareBitmap soft, Guid encoderId, BitmapBounds bounds) 
{ 
    byte[] array = null; 

    using (var ms = new InMemoryRandomAccessStream()) 
    { 
     BitmapEncoder encoder = await BitmapEncoder.CreateAsync(encoderId, ms); 
     encoder.SetSoftwareBitmap(soft); 

     // apply the bounds of the face 
     encoder.BitmapTransform.Bounds = bounds; 

     await encoder.FlushAsync(); 

     array = new byte[ms.Size]; 

     await ms.ReadAsync(array.AsBuffer(), (uint)ms.Size, InputStreamOptions.None); 
    } 

    return array; 
}