๋์ผ ํ๋ฅ ๋ณ์ ์ ๊ดํ ๊ฐ๋ณ์ ์ธ ๋ ํ๋ฅ ๋ถํฌ ์ ์ ์ฐจ์ด๋ฅผ ์ธก์ ํ๋ ๋ฐฉ๋ฒ
Kullback-Leibler Divergence
์ฑ์ง
๋น๋์นญ์ฑ์์ ์ค๋ ํน์ง
- KL Divergence๋ ๋ ๋ถํฌ์ ์ฐจ์ด๋ฅผ ์ธก์ ํ๋ ๋ฐฉ๋ฒ์ด๋ผ๊ณ ํ๋ค.
- ๊ทธ๋ ๊ธฐ ๋๋ฌธ์ ์ด๋ ํ ๋ชฉ์ ํจ์๋ก ์ฌ์ฉ๋ ์๋ ์๋ค.
- ์ฆ, ํด๋น ํจ์๋ฅผ ๊ธฐ๋ฐ์ผ๋ก, ํด๋น ๊ฐ์ด ์ต์๊ฐ ๋๋๋ก ํน์ ๋ถํฌ๋ฅผ ์ ํฉ์ํค๋ ์ฉ๋๋ก ์ฌ์ฉํ ์๋ ์๋ค.
- ํ์ง๋ง ์์์ ๋งํ๋ฏ, ํด๋น ๋ถํฌ์ ๊ฐ์ด ๋น๋์นญ์ฑ์ ๋๊ธฐ ๋๋ฌธ์ ์๋์ ๊ฐ์ ๋ฌธ์ ๊ฐ ์๊ธด๋ค.
- ๋ ๋ ๊ฐ์ฐ์ค ๋ถํฌ๋ฅผ ํผํฉํ ๊ฒ์ด๊ณ , ๋ ํ๋์ ๊ฐ์ฐ์ค ๋ถํฌ์ด๋ค.
- ์ ๋ฅผ ๊ตฌํด๋ณด์.
- ํด๋น ์์ ๋ฅผ ์ต์ํํ๋ ์ ๋ ๋ฆฝ๋ณ์(argument)๋ฅผ ์ฐพ๋ ๊ฒ์ด๋ค.
- ๋ณด๋ ๊ฒ์ฒ๋ผ ์ด๋ค ๋ฐฉํฅ์ KL Divergence๋ฅผ ์ต์ํํ๋๋์ ๋ฐ๋ผ, ์ต์ ์ ๊ฐ ๋ฌ๋ผ์ง๋ค.