Kullback-Leibler divergence(KL-Divergence)

Kullback-Leibler divergence(KL-Divergence)

KL-Divergence에 대한 수식을 설명하기 전에 개념의 Idea부터 얘기를 해보자.

우리가 어떤 확률 분포 p(x)p(x)를 가지고 있다. 이 확률 분포를 전송을 해서 정보를 전달을 해야하는데 각각의 변수xx에 대해 p(x)p(x)를 모두 전달하기에는 정보량도 많고 전달할 수단이 부족하다고 가정하자. 이때 우리는 분포 p(x)p(x)를 전달하기보다 이미 정의된 다른 확률 변수q(x)q(x)를 대신 전달하려는 생각을 했다. 이렇게 되면 어떤 분포인지, 그리고 분포의 특정 몇가지 값들만 전달하면 되므로 정보량 자체가 엄청나게 줄고 그래서 전송 또한 가능해진다.

그러면 이제 새로운 문제에 봉착한다. 과연 어떤 분포 q(x)q(x)를 선택해서 보내야 하는가이다. 최대한 분포p(x)p(x)와 유사한 분포를 선택해야할 것이다. 이때 분포 pp와 qq의 유사한 정도를 계산하는 방법이 KL-Divergence이다.

KL-Divergence는 그 값이 작을 수록 두 분포가 유사하다는 것을 의미하고 값이 0이 되면 두 분포가 같은 분포라는 뜻이 된다.

https://brunch.co.kr/@chris-song/69 참고