์ง๊ด
- ๋ฐ์ ๊ฐ๋ฅ์ฑ์ด ๋ฎ์ ์ฌ๊ฑด์ด ๋ฐ์ ๊ฐ๋ฅ์ฑ์ด ๋์ ์ฌ๊ฑด๋ณด๋ค ๋ ๋ง์ โ์ ๋ณดโ๋ฅผ ์ป์ ์ ์๋ค.
- ์ฆ, ํญ์ ๋ฐ์ํ๋ ์ฌ๊ฑด์ ์ ๋ณด๊ฐ ์๋ค.
- ๋ฐ๋๋ก ๊ฐํ์ ์ผ๋ก ๋ฐ์ํ๋ค๋ฉด ์ ๋ณด๊ฐ ๋ง๋ค.
- ์ ์๊ฐ์ ๋์ํ๋ค๋ฉด, ์ด๋ฅผ ์์นํ ํ ์ ์์ด์ผ ํ๋ค.
- ์ด๋ฅผ ์์นํํ๊ธฐ ์ํด ํ์ํ ์ฑ์ง์ ์๋์ ๊ฐ๋ค.
์ฑ์ง
- ๋ฐ์ ๊ฐ๋ฅ์ฑ์ด ํฐ ์ฌ๊ฑด์ ์ ๋ณด๋์ด ์ ์ด์ผ ํ๋ค. ๋ฐ๋์ ๋ฐ์ํ๋ค๋ฉด ํด๋น ์ฌ๊ฑด์ ์ ๋ณด๋ 0์ด๋ค.
- ๋ฐ์ ๊ฐ๋ฅ์ฑ์ด ๋ฎ์ ์ฌ๊ฑด์ ์ ๋ณด๋์ด ๋ง์์ผ ํ๋ค.
- ๊ฐ๋ณ ์ฌ๊ฑด๋ค์ ์ ๋ณด๋์ ๋ํ ์ ์์ด์ผ ํ๋ค.
- ์๋ฅผ ๋ค์ด, ๋์ ์ ๋ ๋ฒ ๋์ ธ์ ๋ ๋ฒ ๋ค ์๋ฉด์ด ๋์จ ์ฌ๊ฑด์ ์ ๋ณด๋์ ํ๋ฒ ๋์ ธ ์๋ฉด์ด ๋์จ ์ ๋ณด๋์ ๋๋ฐฐ์ฌ์ผ ํ๋ค.
Self-infomation
I(x)=โlogP(x)
- ์์ ๋ก๊ทธ ๋ฐ์ e์ด๋ค.
- ์ด๋ฐ ๊ฒฝ์ฐ ํด๋น ๋จ์๋ nat์ด๋ผ๊ณ ๋ถ๋ฅธ๋ค.
- 1nat์ ํ๋ฅ ์ด e1โ์ธ ์ฌ๊ฑด์ด ๋ฐ์ํ์ ๋ ์ป๋ ์ ๋ณด๋์ด๋ค.
- ๋ฐ์ด 2์ธ ๊ฒฝ์ฐ๋ bit ํน์ shannon์ด๋ผ๊ณ ๋ถ๋ฅธ๋ค.
- ์๊ธฐ ์ ๋ณด๋ ์ค์ง ํ๋์ ๊ฒฐ๊ณผ๋ง ๋ค๋ฃฌ๋ค.
- ํ๋ฅ ๋ถํฌ ์ ์ฒด์ ๋ถํ์ค์ฑ์ Information Entropy๋ฅผ ์ฌ์ฉํ๋ค.