์ง๊ด€

  • ๋ฐœ์ƒ ๊ฐ€๋Šฅ์„ฑ์ด ๋‚ฎ์€ ์‚ฌ๊ฑด์ด ๋ฐœ์ƒ ๊ฐ€๋Šฅ์„ฑ์ด ๋†’์€ ์‚ฌ๊ฑด๋ณด๋‹ค ๋” ๋งŽ์€ โ€œ์ •๋ณดโ€๋ฅผ ์–ป์„ ์ˆ˜ ์žˆ๋‹ค.
    • ์ฆ‰, ํ•ญ์ƒ ๋ฐœ์ƒํ•˜๋Š” ์‚ฌ๊ฑด์€ ์ •๋ณด๊ฐ€ ์—†๋‹ค.
    • ๋ฐ˜๋Œ€๋กœ ๊ฐ„ํ—์ ์œผ๋กœ ๋ฐœ์ƒํ•œ๋‹ค๋ฉด ์ •๋ณด๊ฐ€ ๋งŽ๋‹ค.
  • ์œ„ ์ƒ๊ฐ์— ๋™์˜ํ•œ๋‹ค๋ฉด, ์ด๋ฅผ ์ˆ˜์น˜ํ™” ํ•  ์ˆ˜ ์žˆ์–ด์•ผ ํ•œ๋‹ค.
  • ์ด๋ฅผ ์ˆ˜์น˜ํ™”ํ•˜๊ธฐ ์œ„ํ•ด ํ•„์š”ํ•œ ์„ฑ์งˆ์€ ์•„๋ž˜์™€ ๊ฐ™๋‹ค.

์„ฑ์งˆ

  1. ๋ฐœ์ƒ ๊ฐ€๋Šฅ์„ฑ์ด ํฐ ์‚ฌ๊ฑด์€ ์ •๋ณด๋Ÿ‰์ด ์ ์–ด์•ผ ํ•œ๋‹ค. ๋ฐ˜๋“œ์‹œ ๋ฐœ์ƒํ•œ๋‹ค๋ฉด ํ•ด๋‹น ์‚ฌ๊ฑด์˜ ์ •๋ณด๋Š” 0์ด๋‹ค.
  2. ๋ฐœ์ƒ ๊ฐ€๋Šฅ์„ฑ์ด ๋‚ฎ์€ ์‚ฌ๊ฑด์€ ์ •๋ณด๋Ÿ‰์ด ๋งŽ์•„์•ผ ํ•œ๋‹ค.
  3. ๊ฐœ๋ณ„ ์‚ฌ๊ฑด๋“ค์˜ ์ •๋ณด๋Ÿ‰์„ ๋”ํ•  ์ˆ˜ ์žˆ์–ด์•ผ ํ•œ๋‹ค.
    • ์˜ˆ๋ฅผ ๋“ค์–ด, ๋™์ „์„ ๋‘ ๋ฒˆ ๋˜์ ธ์„œ ๋‘ ๋ฒˆ ๋‹ค ์•ž๋ฉด์ด ๋‚˜์˜จ ์‚ฌ๊ฑด์˜ ์ •๋ณด๋Ÿ‰์€ ํ•œ๋ฒˆ ๋˜์ ธ ์•ž๋ฉด์ด ๋‚˜์˜จ ์ •๋ณด๋Ÿ‰์˜ ๋‘๋ฐฐ์—ฌ์•ผ ํ•œ๋‹ค.

Self-infomation

  • ์œ„์˜ ๋กœ๊ทธ ๋ฐ‘์€ ์ด๋‹ค.
  • ์ด๋Ÿฐ ๊ฒฝ์šฐ ํ•ด๋‹น ๋‹จ์œ„๋Š” nat์ด๋ผ๊ณ  ๋ถ€๋ฅธ๋‹ค.
  • 1nat์€ ํ™•๋ฅ ์ด ์ธ ์‚ฌ๊ฑด์ด ๋ฐœ์ƒํ–ˆ์„ ๋•Œ ์–ป๋Š” ์ •๋ณด๋Ÿ‰์ด๋‹ค.
  • ๋ฐ‘์ด 2์ธ ๊ฒฝ์šฐ๋Š” bit ํ˜น์€ shannon์ด๋ผ๊ณ  ๋ถ€๋ฅธ๋‹ค.
  • ์ž๊ธฐ ์ •๋ณด๋Š” ์˜ค์ง ํ•˜๋‚˜์˜ ๊ฒฐ๊ณผ๋งŒ ๋‹ค๋ฃฌ๋‹ค.
  • ํ™•๋ฅ  ๋ถ„ํฌ ์ „์ฒด์˜ ๋ถˆํ™•์‹ค์„ฑ์€ Information Entropy๋ฅผ ์‚ฌ์šฉํ•œ๋‹ค.