flvmux는 오디오와 동일한 속도로 비디오를 가져 오지 않습니다.

Question

C920 카메라에서 오디오 및 비디오를 캡처하고 (약간의 CPU 요구 사항) 아주 간단한 처리를 한 후 다시 압축하고 파일.

Platform: 
- Raspberry Pi 3 
- Debian Jessie 
- GStreamer 1.8 

내 '단순 처리'영역에 대해 걱정하지 마십시오 :

이 파이프 라인에 대한 일반적인 개요입니다. 내 전체 CPU가 25 % 미만의 CPU를 차지합니다.

내가 알기로는, Q3과 Q4가 천천히 채워지기 시작하여 임계 값에 도달하고 오디오가 고르지 않게 될 때까지 (그리고 alsasrc '다운 스트림에서 경고가 발생하면 버퍼가 충분히 빠르지 않습니다'). 대기열에 누출을 넣을 수는 있지만 문제는 거의 해결되지 않습니다.

내 파이프 라인이 실행되기 때문에,이 내 큐 내가 노란색을 제거 (MS에서 현재 수준의 시간)

QUEUE CONTENTS IN MILLISECONDS 

TIME(s)  Q1  Q2 Q3 Q4 Q5 Q6 
     0  0  0  0  0  0  0 
     5  0  0 252 380  0  0 
    10  0  0 293 460  0  0 
    15  0  0 332 470  0  0 
    20  0  0 378 451  0  0 
    25  0  0 333 460  0  0 
    30  0  0 383 480  0  0 
    35  0  0 500 550  0  0 
    40  0  0 500 610  0  0 
    45  0  0 539 630  0  0 
    50  0  0 584 670  0  0 

=== 실험 ===

처럼 보일 것입니다 다리의 파이프 라인, 그래서 난 단지 비디오를 캡처하고 결과가 더 좋았어요. 나는 계속 성장하는 대기열이 없었으며 출력 비디오는 완벽했습니다.

QUEUE CONTENTS IN MILLISECONDS 

TIME(s)  Q1  Q2 Q3 Q4 Q5 Q6 
     0  0  0  0  0  0  0 
     5  0  0  2  0  0  0 
    10  0  0  5  0  0  0 
    15  0  0  8  0  0  0 
    20  0  0  8  0  0  0 
    25  0  0  8  0  0  0 
    30  0  0  8  0  0  0 
    35  0  0  8  0  0  0 
    40  0  0  8  0  0  0 
    45  0  0  8  0  0  0 
    50  0  0  8  0  0  0 

또한, 나는 완전한 성공, (I 다이어그램에서 큐를 생략 한) 다음 파이프 라인을 시도 - 비디오는 문제없이 10 분 이상 기록했다.

=== 무슨 일 질문 ===

?

제 생각에 Q3 (비디오 출력)이 가득 차 있기 때문에 오디오가 속도를 늦춰야합니다. Q4가 가득 찼기 때문에 Q5가 아니기 때문에 AAS 인코더가 압축 할 수있는 것보다 빠르게 ATS가 오디오를 생성하고 있음을 의미합니다. 맞습니까? 그러나 내 CPU 사용량이 매우 낮습니다. 동일한 문제가있는 2 개의 aac 인코더 (voaacenc 및 avenc_aac)와 MP3 인코더를 사용해 보았습니다.

======== UPDATE 나는 PTS를 오디오, 비디오 (바로 후) 후 항등원의 몇 가지를 넣어 차트했습니다

========= 그들의 출력의. 서로 빠르게 떠 밀려 나 간다는 것을 알 수 있습니다. 비디오가 30 초가 될 때까지 오디오는 21 초가 지나기 훨씬 뒤입니다. 여기서 I 번째 카메라가 있고, 그 위에 교환

차트

======== UPDATE 2 =========이고 문제가 사라졌습니다. 오디오 및 비디오 PTS 값은 최소 25 분 동안 동기화 상태를 유지했습니다. 이 새로운 카메라와의 차이점은 커스텀 렌즈가 장착 된 수정 된 C920입니다. 렌즈가 우연히 완전히 초점에서 벗어났습니다. 이것이 PTS 드리프트를 고정한 것입니다 (맞춤형 렌즈에 초점을 맞추면 동일한 PTS 드리프트가 발생합니다).

그래서 질문이 조금 바뀌 었습니다. 초점이 맞춰진 C920 카메라가 PTS를 너무 왜곡시키는 이유는 무엇입니까? 참고 : 자동 노출을 사용하지 않고 노출 절대 값을 기본값 인 250으로 설정합니다. 그러나 자동 노출을 사용할 수 있기를 원합니다 ...

Answer 1

확인 했음 문제. 당신은 라즈베리 파이, 심지어 V3를 사용하는 경우 :

을 읽는 사람을 위해 - 당신이 당신의 uvch264src에 이하 3650000 (3.65Mbps)에 peak-bitrate을 구성한 확인합니다. 나는 또한 24khz에서 오디오를 캡쳐하고있다. 만약 당신이 그것을하지 않는다면, 당신은 좀 더 많은 것을들을 수있을 것이다.

더 많이 설정하거나 완전히 생략하면 이전과 동일한 이상한 문제가 발생합니다. 비디오 영상의 움직임과 높은 디테일은 Pi2가 처리 할 수있는 H264 인코딩을 유발합니다. 따라서 귀하의 문제는 이상하고 산발적입니다.

C920이 USB 버스를 포화시키고 있다고 생각할 수 있습니다. USB2는 최대 480Mbps이기 때문에 이상하게 생각합니다. 설정 한도는 3.65Mbps입니다. 나는 라스베리에 매우 결함이있는 USB 펌웨어가 있다고 들었다. 그러나 지금까지 그것을 경험하지 못했다.

문제가 해결되었습니다. 나는 드래곤 보드로 이동하는 것을 고려해 왔습니다 ... 이것은 나에게 아직 최고의 이유를 줄지도 모릅니다.