Entropy and Cross-Entropy

Entropy는 일반적으로 불확실성을 나타내는 지표이다. 딥러닝에서는 이를 정보량으로 볼 수 있다.

 

Rationale

Information (𝑿=𝒙i) = -㏒ 𝑷(𝑿=𝒙i)

• The degree of information delivered by an event xi
  • is low if 𝑷(𝑿=𝒙i) is close to 1
  • is high if 𝑷(𝑿=𝒙i) is close to 0
• 즉, 확률이 클수록 정보량이 적다
  • logarithm: -logx = x가 1에 가까울수록 작다

Expectation

E [𝑿] = ∑ 𝒙·𝑷(𝑿=𝒙)

• Summation of (특정 outcome x 그 outcome이 나올 확률)

Entropy

H [𝑿] = E [Information(𝑿=𝒙)] = - ∑ 𝑷(𝑿=𝒙) · ㏒𝑷(𝑿=𝒙)

• (특정 값에 대한 정보량)의 기댓값
• Expected value of the uncertainty of its outcomes

Cross-Entropy

H [Xt, Xp] = E [Information(𝑿=𝒙)] = - ∑ 𝑷t(𝑿t=𝒙) · ㏒𝑷p(𝑿p=𝒙)

𝑷t: true probability distribution

𝑷p: approximate probability distribution

• 정답 분포와 예측 분포의 outcome이 동일하고 정답 분포를 알 경우 활용
• minimize when 𝑷t≈𝑷p and 𝑷 is large
  • 둘 다 높은 확률이면 0에 수렴하여 cross-entropy loss가 작아짐
  • 둘 다 낮은 확률이면 무한대에 수렵하여 cross-entropy loss 커짐
  • 하나는 높고, 하나는 낮은 확률이면(𝑷t≉𝑷p), 한 값이 크기 때문에 cross-entropy loss 커짐