Likelihood

주어진 모델의 파라미터가 주어졌을 때, 관찰된 데이터가 실제로 나타날 확률. 즉, 모델이 얼마나 데이터에 적합한지를 평가하는 척도

수학적으로, 가능도는 모델이 특정한 파라미터 집합 $\theta$를 가질 때, 주어진 데이터 $X=x_1,x_2,\dots ,x_N$가 관찰될 확률로 정의됨.

$$L(\theta |X)=P(X|\theta )=\prod \_{i=1}^{N}P(x_i|\theta )$$

• $\theta$: 모델의 파라미터 (예를 들어, GMM에서는 각 가우시안 성분의 평균과 공분산, 그리고 각 성분의 혼합 비율이 될 수 있음)
• $X=x_1,x_2,\dots ,x_N$: 관찰된 데이터
• $P(x_i|\theta )$: 주어진 파라미터 $\theta$에서 $x_i$가 나타날 확률

Maximum Likelihood Estimation (MLE)

• 가능도를 최대화한다는 것은, 주어진 데이터 X에서 어떤 파라미터 $\theta$가 데이터를 가장 잘 설명하는지를 찾는다는 의미이다.
• 즉, 우리가 특정 모델을 가정하고 그 모델이 데이터를 어떻게 생성했는지를 설명하는 가장 적합한 파라미터 값을 찾는 과정이 가능도 최대화이다.
• 다르게 말하면, 데이터를 가장 “가능하게” 생성하는 모델을 찾는 것이 가능도 최대화의 목적이다.