[NLP Begin] Classical NLP Methods - HMM

文章目录

• Hidden Markov Models
• • Initial State Probabilities
  • Hidden state probabilities
  • Emission probabilities
  • 参考

    Hidden Markov Models

    教材上给出了一个例子：

    
    （图片来源网络，侵删）

    Initial State Probabilities

    初始概率，举个例子：

    Noun (N): 0.3

    Verb (V): 0.2

    Adjective (Adj): 0.5

    Hidden state probabilities

    From/To	N	V	Adj
    N	0.1	0.6	0.3
    V	0.4	0.1	0.5
    Adj	0.7	0.2	0.1

    “众所周知”的规律，比如一个形容词后面大概率跟着一个名词；

    Emission probabilities

    Word	N	V	Adj
    that	0.1	0.1	0.8
    person	0.8	0.1	0.1
    is	0.1	0.8	0.1
    great	0.1	0.1	0.8
    running	0.1	0.8	0.1

    比如that很大概率是一个形容词，有0.8这么大的概率；

    开始计算，第一个单词是that，

    • 它的初始概率如下：

      Noun (N): 0.3

      Verb (V): 0.2

      Adjective (Adj): 0.5

    • 发射概率如下：

      Noun (N) : 0.1

      Verb (V) : 0.2

      Adjective (Adj) : 0.5

    • 计算过程如下：

      For Noun : 0.3 × 0.1 = 0.03 0.3 \times 0.1 = 0.03 0.3×0.1=0.03

      For Verb : 0.2 × 0.1 = 0.02 0.2 \times 0.1 = 0.02 0.2×0.1=0.02

      For Adjective : 0.5 × 0.8 = 0.4 0.5 \times 0.8 = 0.4 0.5×0.8=0.4

      发现概率最大的是Adj，所以预测为Adj形容词；

      接下来就可以继续接下里的过程，对接下来的每一个单词而言：

      • 该单词的某个tag的emission probability；
      • 从上一个被选择的tag到当前被选择tag的transistion probability；
      • 将这些概率相乘，并且选择概率最高的tag；

        到达最后一个单词之后，再回头来处理；

        假设That的tag是Adj，再寻找person的tag，

        假设transition probabilities如下：

        Adj -> N : 0.7,

        Adj -> V : 0.2,

        Adj -> Adj : 0.1，

        person的emission probabilities：

        N : 0.8,

        V : 0.1,

        Adj : 0.1,

        相乘之后比较结果，预测为N的概率最大： 0.7 × 0.8 = 0.56 0.7 \times 0.8 = 0.56 0.7×0.8=0.56；

        参考

        Classical NLP Methods