[펌]유니그램 모델

unigram model

간단히 설명하자면, 각 단어의 빈도 수를 세어서 전체 단어수로 나누어 준 것으로 확률 모델을 만드는 것이다.

확률론적 언어 모형¶

확률론적 언어 모형(Probabilistic Language Model)은 m$m$개의 단어 w1,w2,…,wm$w_1,w_2,\dots ,w_m$ 열(word sequence)이 주어졌을 때 문장으로써 성립될 확률 P(w1,w2,…,wm)$P(w_1,w_2,\dots ,w_m)$ 을 출력함으로써 이 단어 열이 실제로 현실에서 사용될 수 있는 문장(sentence)인지를 판별하는 모형이다.

이 확률은 각 단어의 확률과 단어들의 조건부 확률을 이용하여 다음과 같이 계산할 수 있다.

P(w1,w2,…,wm)===P(w1,w2,…,wm−1)⋅P(wm|w1,w2,…,wm−1)P(w1,w2,…,wm−2)⋅P(wm−1|w1,w2,…,wm−2)⋅P(wm|w1,w2,…,wm−1)P(w1)⋅P(w2|w1)⋅P(w3|w1,w2)P(w4|w1,w2,w3)⋯P(wm|w1,w2,…,wm−1)$$\begin{array}{rcl}P(w_1,w_2,\dots ,w_m)& =& P(w_1,w_2,\dots ,w_{m-1})\cdot P(w_m|w_1,w_2,\dots ,w_{m-1})\\ & =& P(w_1,w_2,\dots ,w_{m-2})\cdot P(w_{m-1}|w_1,w_2,\dots ,w_{m-2})\cdot P(w_m|w_1,w_2,\dots ,w_{m-1})\\ & =& P(w_1)\cdot P(w_2|w_1)\cdot P(w_3|w_1,w_2)P(w_4|w_1,w_2,w_3)\cdots P(w_m|w_1,w_2,\dots ,w_{m-1})\end{array}$$

여기에서 P(wm|w1,w2,…,wm−1)$P(w_m|w_1,w_2,\dots ,w_{m-1})$ 은 지금까지 w1,w2,…,wm−1$w_1,w_2,\dots ,w_{m-1}$라는 단어 열이 나왔을 때, 그 다음 단어로 wm$w_m$이 나올 조건부 확률을 말한다. 여기에서 지금까지 나온 단어를 문맥(context) 정보라고 한다.

이 때 조건부 확률을 어떻게 모형화하는냐에 따라

• 유니그램 모형 (Unigram Model)
• 바이그램 모형 (Bigram Model)
• N-그램 모형 (N-gram Model)

등으로 나뉘어 진다.

유니그램 모형 (Unigram Model)¶

만약 모든 단어의 활용이 완전히 서로 독립이라면 단어 열의 확률은 다음과 같이 각 단어의 확률의 곱이 된다. 이러한 모형을 유니그램 모형 (Unigram Model)이라고 한다.

P(w1,w2,…,wm)=∏i=1mP(wi)$$P(w_1,w_2,\dots ,w_m)=\prod _{i=1}^{m}P(w_i)$$

바이그램 모형 (Bigram Model)¶

만약 단어의 활용이 바로 전 단어에만 의존한다면 단어 열의 확률은 다음과 같다. 이러한 모형을 Bigram 모형 또는 마코프 모형(Markov Model)이라고 한다.

P(w1,w2,…,wm)=P(w1)∏i=2mP(wi|wi−1)$$P(w_1,w_2,\dots ,w_m)=P(w_1)\prod _{i=2}^{m}P(w_i|w_{i-1})$$

N-그램 모형 (N-gram Model)¶

만약 단어의 활용이 바로 전 n$n$개의 단어에만 의존한다면 단어 열의 확률은 다음과 같다. 이러한 모형을 N-gram 모형이라고 한다.

P(w1,w2,…,wm)=P(w1)∏i=nmP(wi|wi−1,…,wi−n)$$P(w_1,w_2,\dots ,w_m)=P(w_1)\prod _{i=n}^{m}P(w_i|w_{i-1},\dots ,w_{i-n})$$

확률 추정 방법¶

실제 텍스트 코퍼스(corpus)에서 확률을 추정하는 방법은 다음과 같다. 여기에서는 바이그램의 경우를 살펴본다.

일단 모든 문장에 문장의 시작과 끝을 나타내는 특별 토큰을 추가한다. 예를 들어 문장의 시작은 SS, 문장의 끝은 SE 이라는 토큰을 사용할 수 있다.

바이그램 모형에서는 전체 문장의 확률은 다음과 같이 조건부 확률의 곱으로 나타난다.

P(SS I am a boy SE)=P(I|SS)⋅P(am|I)⋅P(a|am)⋅P(boy|a)⋅P(SE|boy)$$P(\text{SS I am a boy SE})=P(\text{I}|\text{SS})\cdot P(\text{am}|\text{I})\cdot P(\text{a}|\text{am})\cdot P(\text{boy}|\text{a})\cdot P(\text{SE}|\text{boy})$$

조건부 확률은 다음과 같이 추정한다.

P(wi|wi−1)=C(wi,wi−1)C(wi−1)$$P(w_i|w_{i-1})={\displaystyle \frac{C(w_i,w_{i-1})}{C(w_{i-1})}}$$

위 식에서 C(wi,wi−1)$C(w_i,w_{i-1})$은 전체 코퍼스에서 (wi,wi−1)$(w_i,w_{i-1})$라는 바이그램이 나타나는 횟수이고 C(wi−1)$C(w_{i-1})$은 전체 코퍼스에서 (wi−1)$(w_{i-1})$라는 유니그램(단어)이 나타나는 횟수이다.