keras에서의 logit를 가진 binary crossentropy와 binary crossentropy의 차이점은 무엇입니까?

Question

케 라스 백엔드에서 우리는 with_logits에 K.binary_crossentropy이라는 플래그가 있습니다. 일반적인 이진 교차 분압과 로그가있는 이진 교차 분압의 차이점은 무엇입니까? seq2seq 모델을 사용 중이며 출력 시퀀스가 ​​100111100011101 인 것으로 가정합니다.

재귀 LSTM 또는 RNN에이 데이터를 사용하려면 무엇을 사용해야합니까? 타임 스탬프와 함께 입력과 비슷한 시퀀스를 제공하고 있습니까?

Answer 1

이것은 손실 기능 직전에 시그마 이드 레이어가 있는지 여부에 따라 다릅니다.

시그 모이 드 레이어가있는 경우 클래스 점수를 확률로 집계합니다.이 경우 from_logits은 False이어야합니다. 손실 함수는 로그으로 확률을 변환합니다. 이는 tf.nn.sigmoid_cross_entropy_with_logits이 예상하기 때문입니다.

출력이 이미 logit (원시 점수) 인 경우 from_logits=True을 전달하면 변환이 수행되지 않습니다.

두 옵션 모두 가능하며 선택 사항은 네트워크 아키텍처에 따라 다릅니다. 그런데 이라는 단어가 인 경우 무서운 것처럼 보입니다. 자세한 내용은 this question을 참조하십시오.