SO-PMI(Semantic Orientation Pointwise Mutual Information,情感倾向点互信息算法)是一种用于自动构建情感词典的方法,它通过计算词语与已知情感极性词语之间的点互信息(PMI)来确定词语的情感倾向。以下是SO-PMI算法的关键点:

  1. 点互信息(PMI)

    • PMI用于衡量两个词语之间的相关性。如果两个词语同时出现的概率大于它们各自独立出现概率的乘积,则认为这两个词语是相关的。PMI的计算公式为:

    • 如果PMI大于0,表示两个词语是相关的,值越大,相关性越强;如果PMI等于0,表示两个词语是统计独立的;如果PMI小于0,表示两个词语是不相关的,互斥的。
  2. 情感倾向点互信息(SO-PMI)

    • SO-PMI的基本思想是使用一组已知情感极性的词语(正向和负向)作为基准词,计算目标词与这些基准词的PMI值。通过比较目标词与正向基准词的PMI值之和与目标词与负向基准词的PMI值之和的差值,来确定目标词的情感倾向。
    • SO-PMI的计算公式为:

    • 如果SO-PMI值大于0,表示这个词更接近正向情感词列表,即褒义词;如果SO-PMI值等于0,表示这个词为中性词;如果SO-PMI值小于0,表示这个词更像是负面词,即贬义词。
  3. 应用场景

    • SO-PMI算法可以用于自动构建情感词典,这对于情感分析任务是非常重要的。通过这种方法,可以识别和分类大量的词语,确定它们的情感倾向,进而用于情感分析、意见挖掘等应用。
  4. 基于Good-Turing平滑的SO-PMI

    • 在处理短文本情感词生成过程中,可能会遇到词频较高的情感词文档频率不一定高的问题。为了解决这个问题,可以采用Good-Turing平滑方法来改进SO-PMI算法,以处理零概率事件,使得算法更加稳健。

SO-PMI算法提供了一种有效的方法来评估词语的情感倾向,对于自然语言处理中的情感分析任务具有重要的应用价值。