TensorFlow softmax_crossentropy_with logits : "라벨"도 훈련 가능합니까 (차별화 가능한 경우)?

Question

로그 손실 함수가있는 softmax 교차 엔트로피는 함수에 제공된 로그와 레이블 간의 차이를 줄이기 위해 사용됩니다. 일반적으로 라벨은 감독 학습을 위해 고정되며 로그가 적용됩니다. 그러나 레이블이 다른 네트워크 (예 : 다른 네트워크)에서 오는 경우에는 어떻게됩니까? "네트워크 네트워크"와 "라벨 네트워크"의 두 네트워크가 후속 옵티 마이저에 의해 교육을 받거나이 손실 기능이 항상 레이블을 고정 된 것으로 취급합니까?

TLDR : tf.nn.softmax_cross_entropy_with_logits()는 레이블에 대해 그래디언트를 제공합니까 (차별화 가능한 경우)? 아니면 항상 고정 된 것으로 간주됩니까?

감사합니다.

Answer 1

그라디언트는 옵티마이 저가 제공되는 손실로부터 계산됩니다. "라벨"이 학습 가능한 다른 네트워크에서 오는 경우 그렇습니다. 손실이 영향을 받기 때문에 수정됩니다. 스스로 다른 네트워크 출력을 사용하는 올바른 방법은 그것을 untrainable으로 정의하거나 훈련시키고 자하는 모든 변수의 목록을 만들어이를 명시 적으로 최적화 프로그램에 전달하는 것입니다.

Answer 2

tf.softmax_cross_entropy_with_logits_v2를 사용하면 라벨과 관련하여 그라디언트를 가져와야합니다.