cnn (alexnet)을 훈련시키기 위해 훈련 데이터에서 그림 정렬하기

Question

나는 에뮬레이트 된 nes 게임 (f1 레이서)에서 푸티지를 사용하여 alexnet을 훈련하고 있으며, 게임 자체만으로 게임을 진행할 수 있습니다.

훈련 데이터를 캡처하는 동안 게임의 배경이 회색 픽셀 값 (옅은 노란색에서 검은 색 같은 영역으로 변경 될 때)이 크게 바뀌고 있습니다. 거기에 함수 (cv2 아마도?) 또는 픽셀 값 (가능하면 특정 지역)에 관해서 사진을 비교하게 해주는 알고리즘이 있습니까?

어쩌면 메신저가 완전히 틀려서 그물이 조금 부족한 데 도움이됩니다. 실제 소음인지 확실하지 않다고 말하면서 몇 가지 힌트가 좋을 것입니다. 테스트를해야합니다. 지금까지 나는 단지 회색으로 변환하고, 160 * 120으로 크기를 조정하고, 원하는 출력 (주로 앞으로 진행됨)으로 프레임을 조정합니다.

tf 보드는 220/1700 훈련 단계 후에 그물이 정확도가 (~ 75 %) 멈추었으며 손실도 감소하는 것으로 나타났습니다.

사진 예 :

Answer 1

내가 다음과 같이 이제 이미지를 처리하고있어이 :

screen = grab_screen(region=(100, 100, 348, 324)) 
    processed_img = cv2.cvtColor(screen, cv2.COLOR_BGR2GRAY) 
    processed_img = cv2.Canny(processed_img, threshold1=200, threshold2=300) 

    kernel = np.ones((2, 2), np.uint8) 
    processed_img = cv2.dilate(processed_img, kernel,iterations = 1) 
    processed_img = processed_img[120:248, :] 
    processed_img = cv2.resize(processed_img, (160, 60)) 

이 이미 나에게 꽤 좋은 결과를 제공합니다. (스트림)

원 화상 (단 rgb2gray)

오래된 화상 처리 : 처리 후의

새로운 이미지 :

,363,210

훈련 결과 : 오렌지 라인 ... 이전 이미지 블루 라인 교육 ... 그물이 이미 overfitting 것을