왜 유효성 검사 오류율은 같은 값으로 유지됩니까?

Question

나는 얼굴 이미지에 대한 깊은 학습 (CNN + AEs) 접근법을 연구 중이다.

I은 ​​할

• 얼굴 화상

• 3 회선 + 최대 풀링 +의 112*112*3의 입력 층 ReLU

• 충분히 50 % 강하 512 개 뉴런 접속의 2 층 에 10 클래스가 있으므로 초과 입력 및 마지막 출력 레이어에 10 개의 뉴런을 사용하지 마십시오.

• 또한 소프트 맥스 크로스 엔트로피 및 L2의 평균값을 감소시킨다. 평가

문제에 대한 검증을 위해 훈련

1. 60 %
2. 20 %를
3. 20 % : 교육

나는 3 개 그룹 내 데이터 집합을 분할 몇 epochs 후에 유효성 검사 오류율 고정 값을 유지하고 변경되지 않습니다. 내 프로젝트를 구현하는 데 tensorflow을 사용했습니다.

저는 CNN과 같은 문제가 없었으므로 처음 생각합니다. 나는 tensorflow 문서를 기반으로하는 코드를 검사 했으므로 문제가 코드와 관련이 있다고 생각하지 않습니다. 아마도 일부 매개 변수를 변경해야하지만 확실하지 않습니다.

그런 문제에 대한 일반적인 해결책에 대해 알고 싶습니다.

업데이트 : 옵티 마이저를 기본 학습 속도 인 Adam으로 변경했습니다. 지금은 유효성 검사 오류가 변경되었지만 대부분 일괄 배치 오류가있는 반면 미니 배치 오류보다 낮습니다.

나는 초기 값으로 0.1의 편향을 사용하거나 사용하지 않은 모델을 테스트했지만 아직 잘 맞지 않습니다.

업데이트 빨리 업데이트 할 문제가 곧 수정되었습니다.

Answer 1

이 유형의 문제에 도움이되는 공통 해결책 중 하나는 TensorBoard를 사용하는 것입니다. 세부 정보를 추가하면 계산 그래프의 각 지점마다 각 기원 이후에 교육 성과 정보를 시각화 할 수 있습니다. 핵심 측정 항목을 추가하는 것은 적응 학습 속도, 배치 크기, 신경망 아키텍처, 드롭 아웃/정규화, GPU 수 등을 변경 한 후에 어떻게 교육이 진행되는지 볼 수 있기 때문에 가치가 있습니다.

다음 링크는 제가 다음 세부 정보를 추가하면 도움이됩니다. https://www.tensorflow.org/how_tos/graph_viz/#runtime_statistics