๋™์ผ ํ™•๋ฅ  ๋ณ€์ˆ˜ ์— ๊ด€ํ•œ ๊ฐœ๋ณ„์ ์ธ ๋‘ ํ™•๋ฅ ๋ถ„ํฌ ์™€ ์˜ ์ฐจ์ด๋ฅผ ์ธก์ •ํ•˜๋Š” ๋ฐฉ๋ฒ•

Kullback-Leibler Divergence

์„ฑ์งˆ

๋น„๋Œ€์นญ์„ฑ์—์„œ ์˜ค๋Š” ํŠน์ง•

  • KL Divergence๋Š” ๋‘ ๋ถ„ํฌ์˜ ์ฐจ์ด๋ฅผ ์ธก์ •ํ•˜๋Š” ๋ฐฉ๋ฒ•์ด๋ผ๊ณ  ํ–ˆ๋‹ค.
  • ๊ทธ๋ ‡๊ธฐ ๋•Œ๋ฌธ์— ์–ด๋– ํ•œ ๋ชฉ์  ํ•จ์ˆ˜๋กœ ์‚ฌ์šฉ๋  ์ˆ˜๋„ ์žˆ๋‹ค.
  • ์ฆ‰, ํ•ด๋‹น ํ•จ์ˆ˜๋ฅผ ๊ธฐ๋ฐ˜์œผ๋กœ, ํ•ด๋‹น ๊ฐ’์ด ์ตœ์†Œ๊ฐ€ ๋˜๋„๋ก ํŠน์ • ๋ถ„ํฌ๋ฅผ ์ ํ•ฉ์‹œํ‚ค๋Š” ์šฉ๋„๋กœ ์‚ฌ์šฉํ•  ์ˆ˜๋„ ์žˆ๋‹ค.
  • ํ•˜์ง€๋งŒ ์œ„์—์„œ ๋งํ–ˆ๋“ฏ, ํ•ด๋‹น ๋ถ„ํฌ์˜ ๊ฐ’์ด ๋น„๋Œ€์นญ์„ฑ์„ ๋„๊ธฐ ๋•Œ๋ฌธ์— ์•„๋ž˜์™€ ๊ฐ™์€ ๋ฌธ์ œ๊ฐ€ ์ƒ๊ธด๋‹ค.

  • ๋Š” ๋‘ ๊ฐ€์šฐ์Šค ๋ถ„ํฌ๋ฅผ ํ˜ผํ•ฉํ•œ ๊ฒƒ์ด๊ณ , ๋Š” ํ•˜๋‚˜์˜ ๊ฐ€์šฐ์Šค ๋ถ„ํฌ์ด๋‹ค.
  • ์™€ ๋ฅผ ๊ตฌํ•ด๋ณด์ž.
    • ํ•ด๋‹น ์‹์€ ๋ฅผ ์ตœ์†Œํ™”ํ•˜๋Š” ์˜ ๋…๋ฆฝ๋ณ€์ˆ˜(argument)๋ฅผ ์ฐพ๋Š” ๊ฒƒ์ด๋‹ค.
  • ๋ณด๋Š” ๊ฒƒ์ฒ˜๋Ÿผ ์–ด๋–ค ๋ฐฉํ–ฅ์˜ KL Divergence๋ฅผ ์ตœ์†Œํ™”ํ•˜๋Š๋ƒ์— ๋”ฐ๋ผ, ์ตœ์ ์˜ ๊ฐ€ ๋‹ฌ๋ผ์ง„๋‹ค.