파일 간의 오디오 신호 차이와 마이크의 녹음

Question

저는 라이브 녹음을위한 음성 감정 인식 시스템을 개발하고 있습니다. 기능 추출을 위해 OpenSMILE 라이브러리를 사용하고 있습니다. 다양한 종류의 음성 유형을 포함하는 일련의 오디오 파일을 수집했으며 그 중 일부를 추출하여 감정 인식을위한 SVM 기반 분류자를 교육합니다. 그러나 이것은 생중계에서 테스트 할 때 완전히 실패합니다. 그 이유는 라이브 스피치의 신호와 피쳐 분포 (MFCC, LSP, 피치, 강도, F0)가 파일의 특징 분포와 상당히 다르다는 것입니다. OpenSMILE 라이브러리는 마이크에서 오디오 신호에 액세스하기 위해 portaudio을 사용합니다.

나는 공기를 통해 파일 (f_original)을 재생하고 마이크를 통해 녹음 한 다음 OpenSMILE로 저장 (f_distorted)했습니다. 나는 f_original과 f_distorted가 연주되었을 때 인간의 귀와 크게 다르지 않다는 것을 알았습니다. 그러나 시각화 된 오디오 신호는 audacity과 상당히 다르며 f_original 및 f_distorted에서 추출한 피쳐는 크게 다릅니다. f_original 파일은 16000Hz이며, 추출하기 전에 44100Hz로 업 샘플링합니다. 마이크는 44100Hz로 녹음됩니다.

마이크를 통해 녹음 할 때 약간의 왜곡이 예상되지만 왜곡되는 정도는 극단적입니다.

누구도 비슷한 문제에 직면 했습니까? 이 문제를 해결하는 방법에 대한 모든 지침.

감사합니다.

Answer 1

룸, 녹음실 내에서의 스피커/마이크 조합의 주파수 응답 및 유형/위치와 같은 녹음의 환경 요인에 따라 크게 달라질 수 있습니다. 소프트웨어가이를 치료할 수 있지만 깨끗한 녹음을 얻는 것이 소프트웨어의 프로파일 링 기능에 영향을 미치는 가장 중요한 단일 요소가됩니다.

녹음 레벨이 올바르게 설정되어 있고 마이크와 스피커의 주파수 응답이 비교적 평탄한 경우 환경에 따라 사운드의 주파수 프로필이 변환됩니다.

이 효과는 재생시 즉시 나타나지 않을 수도 있지만 여러 가지 요소가 영향을받습니다. 이것은 작곡가들에게 큰 효과를 가져다주었습니다.

Alvin Lucier의 을 참조하십시오.이 유형의 구성의 아름다운 예를 보려면, http://www.ubu.com/sound/lucier.html 방에 앉아 있습니다.

녹음에서 들리는 일시적인 번짐 효과의 상당 부분이 음성 프로파일 링에 크게 영향을 미치므로 녹음 설정을 자세히 검토해야합니다. 녹음 설정에 대한 팁은 사운드 엔지니어에게 문의하는 것이 가장 좋습니다. 이렇게하면 고민하는 것처럼 보입니다. 예 : 사용하고있는 방의 음향 특성이나 오디오 설정은 언급하지 않았습니다.

사용하려는 방/마이크/스피커 설정의 임펄스 응답을 수행 한 다음 임펄스로 녹음 된 음성을 분리 할 수 ​​있습니다. 이론적으로 원래 신호의 완벽한 표현으로 녹음을 줄여야합니다 . 이는 까다 롭지 만 다소 위험한 결과를 제공 할 수 있습니다.