目录
简介
CRF使用一个单独的指数模型来表示在给定观测序列条件下整个序列的标签的联合概率,不同状态下的不同特征能够相互进行平衡。同时,可以把CRF当做一个具有非规范化的转移概率的有限状态模型,使用MLE或者MAP进行学习之后可以得到一个定义良好的可能标注的概率分布。同时,训练的损失函数是凸函数,保证了全局收敛性,是无约束凸优化问题,具有非常好的实用性。
概念
成对马尔科夫性
u和v为两个节点,且没有边连接,O表示其他结点,则给定O的条件下,Yu和Yv条件独立。公式表示如下:
局部马尔科夫性
v为任意结点,W为与v连接的所有结点,O为除W、v外的其他所有结点。则给定W的条件下,Yv和YO是独立的。公示表示如下:
全局马尔科夫性
A、B、C分别为一组结点集合,其中A和C被B分开了,在给定B的条件下,A和C是条件独立的。公式表示如下:
因子分解
概率无向图模型的因子分解指的是将联合概率分布表示为最大团上的随机变量的函数的乘积形式的操作。
CRF分词原理
CRF把分词当做字的词位分类问题,通常定义字的词位信息如下:
- 词首,常用B表示
- 词中,常用M表示
- 词尾,常用E表示
- 单字词,常用S表示