朴素贝叶斯、维特比实现词性标注
$$
\begin{align}
& s=w_1+w_2+w_3+….+w_n \
& z=z_1+z_2+z_3+….+z_n \quad # z为s语句对应的隐藏状态序列\
& max(p(z|s))=max(p(s|z)p(z)/p(s))\
& max(p(z|s))=max(p(s|z)p(z)) \quad #p(s)为定值可忽略 \
& max(p(z|s))=argmax(\int\limits_{i=1}^np(s_i|z_i)*p(z_1)*\int\limits_{t=2}^np(z_t|z_{t-1})) \quad#根据马尔科夫假设当前状态只和n个上一个状态有关(n=1) \
& max(p(z|s))=argmax(\sum\limits_{i=1}^nlog^{p(s_i|z_i)}+log^{p(z_1)}+\sum\limits_{i=2}^nlog^{p(z_t|z_{t-1})})
\quad #log函数是单调递增(公式1)
\end{align}
$$
- 根据输入语料库数据生成三个向量
- (N,M)向量:N为词性数;M为词库数;内容为词对应词性的概率；对应公式1的第一项
- (N,1)向量:每个词性是为开头的概率；对应公式1的第二项
- (N,N)向量:每个词性的下一个词性出现的概率；对应公式1的第三项
转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 zoubinbf@163.com
