subgradients의 합 또는 평균?, mini-batch SGD keras

Question

다층 퍼셉트론을 사용할 때 Keras의 미니 배치에 대한 그래디언트가 어떻게 계산되는지는 많이 찾았지만 대답을 찾지 못하는 것 같습니다. 각 미니 배치에 대한 그라디언트의 평균이 가중치 및 편차를 업데이트하는 데 사용되는지 또는 그라디언트의 합이되는지 궁금합니다.

누군가가 답을 알고 가능하다면이 정보를 어디에서 찾을 수 있는지 말해 주시면 감사하겠습니다.

Answer 1

나는 손실의 평균 또는 손실의 합을 말하면 좋지만, 평균/그레디언트의 합은 아닙니다. 그리고 그라디언트를 계산하는 데 손실 평균을 사용하는 것이 항상 안전하다고 생각합니다.