entropy

정보이론에서 확률 변수(Random Variable) 의 불확실성을 정량화하는 척도 Shannon Entropy 이산 확률 변수 X의 섀넌 엔트로피 H(X)는 다음과 같이 정의된다.

• infomation-theory
• entropy