TP, TN, FP, FN 비율을 찾고 세그먼트 알고리즘의 품질을 측정하려면 어떻게합니까?

Question

현재 지하철역에서 관심 노선을 넘는 승객의 수를 계산하는 시스템을 구현하고 있습니다. 분할 알고리즘의 품질을 측정하기 위해 지하철 역 천장에 비디오 카메라를 설치하고 13 초짜리 비디오를 녹화했습니다.

13 초의 비디오에는 412 개의 프레임이 포함되어 있습니다.

1. TPR (진정한 긍정적 비율)을 얻었다는 즉, 412 개 프레임을 하나 하나 확인하고 분류 된 시간을 계산, 수동 프레임을 분석 할 필요가있다 : 아래

   내 질문입니다 바르게? FPR이 "거짓 경보"인 경우에만 으로 계산됩니까?

2. 각 알고리즘을 테스트하려면 수정 필터를 사용해야합니까? 아니면 원시 형태 (필터 없음)로 분석 하시겠습니까?

3. 회선을 넘었거나 화면 연장선을 가로 지르는 경우이 속도를 감지합니까?

   Here is a portion of the 412 frames

나는이 문제를 해결하기 위해 당신의 도움을 부탁드립니다.

Answer 1

지상 진실 이미지와 시스템 출력 간의 비교 품질을 측정하는 TP, TN, FP, FN. 귀하의 프로젝트에서 귀하의 프로그램에 의해 회선을 통과 한 사람의 수와 컴퓨터를 비교해야합니다.

Answer 2

사람이 선을 넘을 때마다 직접 태그를 추가해야합니다. 이 부분은 알고리즘을 올바르게 평가하는 데 중요합니다.

누군가가 선을 넘을 때 모든 프레임 색인을 나열하는 groundtruth 파일을 만드는 것이 좋습니다. 알고리즘 출력은 라인 교차를 감지하는 프레임 인덱스 (프레임 분할 또는 다른 기법을 사용하는 경우 평가 프로세스에 영향을 미치지 않아야 함)와 동일한 유형이어야합니다.

마지막으로해야할 일은 일치 기준을 정의하는 것입니다. frame_i에서 실제 라인이 교차하고 알고리즘이 frame_j에서 교차를 감지하면 abs (frame_i-frame_j)가 true 인 경우 true로 계산됩니다. < 임계 값입니다. 그렇지 않으면 거짓 양의 값으로 계산됩니다.