안드로이드에서 쓰레드 지연 시간이 짧은 오디오

Question

짧은 버전 : 나는 synth 앱을 개발 중이며 낮은 대기 시간의 Opensl을 사용하고 있습니다. 나는 Opensl 콜백 funktion에서 모든 오디오 계산을 수행하고있었습니다. (필자는하지 말았어야했지만 어쨌든 했었습니다.) 이제 계산 결과는 내 넥서스 4에서 약 75 %의 CPU 시간을 필요로하므로 다음 단계는 모든 계산을 여러 스레드에서 수행하는 것입니다.

내가 겪은 문제점은 콜백 스레드가 분명히 높은 우선 순위에서 실행 되었기 때문에 오디오가 더듬기 시작했다는 것입니다. 새 스레드는 그렇지 않습니다. 더/더 큰 버퍼를 사용하면 문제는 사라지지만 실시간도 마찬가지입니다. 새 스레드에서 더 높은 우선 순위를 설정하면 작동하지 않는 것 같습니다. 그래서 저 지연 오디오 스레드를 수행하는 것이 가능합니까? 아니면 콜백에서 모든 작업을해야합니까?

나는 256 샘플의 버퍼를 가지고 있으며 약 5ms이고 thread-scheduler-thingie가 내 calc 스레드를 실행하기 위해서는 오래 있어야한다.

Answer 1

근본적인 문제는 synth-engine의 성능에 있다고 생각합니다. Cortex-A8 또는 -A9 CPU로 알맞은 채널 수를 단일 코어로 달성 할 수 있습니다. 어떤 언어로 구현 했습니까? Java가 발생하면 C++로 포팅하는 것이 좋습니다.

합성에 다중 스레드를 사용하는 것은 가능하지만 새로운 문제, 즉 생성 된 오디오를 혼합하기 전에 각 스레드를 동기화해야한다는 새로운 문제가 발생합니다.

비동기 적으로 합성 스레드를 실행하면 추가적인 지연 시간이 발생하지 않는 한, 렌더링 콜백에서 추가 합성 스레드에 신호를 보내고 이전에 완료 할 때까지 기다릴 가능성이 있습니다 모든 오디오를 함께 믹싱합니다.

(명백한 최적화는 렌더 콜백이 이미 CPU에서 실행 중일 때 처리 자체의 일부를 실행하고 그렇지 않으면 아무것도 수행하지 않는다는 것입니다).

여기에 문제가있다. synth 렌더링 스레드가 실시간 우선 순위로 실행되는 것을 확신 할 수 없다면, 렌더링 콜백이 실행될 때마다 일정 히트를 잡을 수 있고, 신스 렌더 스레드가 따라 잡을 때까지 기다리는 콜백 스레드를 차단할 수 있습니다.

지난 번 Android에서 오디오를 보았을 때 Bionic은 실시간 스레드 우선 순위를 설정하는 수단 (예 : SCHED_FIFO)이 부족했습니다. 어쨌든, 이것이 허용되는지 여부는 운영체제 정책의 문제이다. 데스크탑 리눅스 시스템에서는 루트가되어야하거나 적절한 것으로 조정 된 ulimit (루트 권한으로) - 나는 안드로이드가 여기서 무엇을하는지 잘 모르겠다. 다운로드 한 앱이 기본적으로이 권한을 부여받지 못했다고 매우 의심스러워합니다. 다른 유용한 권한은 mlock()이며 실제 스택에는 코드와 해당 스택이 필요합니다.