C 프로그램에서 Java로 이미지를 이동하고 화면에 표시하는 가장 효율적인 방법은 무엇입니까?

Question

배경

video4linux 2 사양을 사용하여 비디오를 캡처하고 있습니다. 그것은 실시간으로 C 프로그램을 사용하여 캡쳐됩니다. 로컬 및 원격 모두에서 실행할 수있는 Java 프론트 엔드도 있습니다. 원격 측은 쉽습니다. JPEG로 이미지를 압축 한 다음 미니 http 서버를 통해 압축을 풀어 화면에 표시하는 클라이언트에 이미지를 전달합니다.

로컬에서 실행할 때 IPC가 메모리에 직접 연결하여 Java에서 이미지에 액세스하고 싶습니다. 그런 다음 가능한 한 적은 CPU 성능을 사용하여 화면에 표시합니다. 이것은 "감시"유형 시스템이므로 한 번에 8-16 개의 카메라 피드를 실행할 수 있습니다. 질문

화면에 표시 내 자바 응용 프로그램에 V4L2의 mmap를 버퍼에서 이미지 데이터 (YUV420P)를 이동하는 가장 효율적인 방법은 무엇입니까

? 사용할 수있는 경우 코드를 표시하거나 api/specs를 알려주십시오. 시간의 관심에서

대답은, 그냥 일반 소켓을 사용하여 RGB의 데이터를 전송하기로 결정했다. Java 클라이언트가 동일한 시스템에서 실행될 때 성능을 크게 향상시킬 수있었습니다. 클라이언트가 원격으로 실행중인 경우 여전히 네트워크를 통해 JPEG를 보냅니다. 다음으로 최적화 된 JPEG 디코더를 찾아야합니다.

그건 그렇고, 이것은 2 클라이언트가 아닙니다. 단지 CameraStream 위젯이 두 유형을 읽고 구문 분석합니다.

Answer 1

Socket을 사용하지 않으면 JNI를 사용하여보다 기본적인 IPC 메커니즘에 연결해야합니다.

비디오 데이터가 포함 된 메모리 버퍼가 있다면 "공유 메모리"API를 사용하여 JVM에서 해당 메모리에 액세스 할 수 있습니다. shmat에 대한 man 페이지를보십시오.

Java 클라이언트에 새 비디오 데이터를 사용할 수 있음을 알리는 신호가 필요합니다.

Answer 2

"원격"인터페이스를 두 가지 상황 모두에 적합하게 수행하는 것에 대해 생각해보십시오.

이중 프론트 엔드 (이 경우 일부 백엔드)를 유지 보수하면 유지 보수가 2 배, 잠재적 인 버그가 두 배가됩니다.

Answer 3

JNI를 사용하여 기본 메모리를 노출시킬 수 있습니다. 다이렉트 바이트 버퍼를 중심으로 한 JNI API를 참조하십시오.

Java에서 이와 같은 기본 메모리를 노출하고 나면 DirectByteBuffer의 바이트를 Java byte [] 배열에 복사하면 소켓 접근 방식보다 훨씬 빠릅니다.

Answer 4

JNI를 사용하는 대신 JNA (Java 네이티브 액세스)을 시도 할 수 있습니다. 이를 사용하면 JNI 코드를 작성할 필요없이 Java에서 직접 C API를 호출 할 수 있습니다. 열기, 닫기 웹캠 장치와 같은 필요한 모든 메서드를 정의하고 바이트 배열로 이미지를 가져 오는 작은 DLL을 준비하는 것을 고려하십시오. 그런 다음 JNAreator을 사용하여이 DLL에서 Java 클래스를 준비하십시오. 그것은 환상적으로 작동합니다. 이 프로젝트를 발견 한 몇 년 후에 다시 원시 코드로 연주하기 시작했습니다.

네이티브 코드에 대한 다른 Java API 인 BridJ을 사용할 수도 있습니다. 또한 JNA처럼 투명하지만 훨씬 빠르며 JNI도 사용할 필요가 없습니다.