Python自然语言处理读书笔记第7章

第7章 从文本提取信息

开头三问：

1.我们如何能构建一个系统，从非结构化文本中提取结构化数据？

2.有哪些稳健的方法识别一个文本中描述的实体和关系？

3.哪些语料库适合这项工作，我们如何使用它们来训练和评估我们的模型？

整体流程：

分句->分词->词性标注->分块->实体识别->信息抽取->查询

先做分句->分词->词性标注：

import nltk
import re
import pprint

def ie_preprocess(document):
    sentences = nltk.sent_tokenize(document)
    sentences = [nltk.word_tokenize(sent) for sent in sentences]
    sentences = [nltk.pos_tag(sent) for sent in sentences]
    return sentences

if __name__ == '__main__':
    mystr = 'My name is freeze, i like coding. I am in hangzhou now. I am from USTC.'
    print ie_preprocess(mystr)
    

结果如下：
[[('My', 'PRP$'), ('name', 'NN'), ('is', 'VBZ'), ('freeze', 'NN'), (',', ','), ('i', 'PRP'), ('like', 'VBP'), ('coding', 'VBG'), ('.', '.')], [('I', 'PRP'), ('am', 'VBP'), ('in', 'IN'), ('hangzhou', 'NN'), ('now', 'RB'), ('.', '.')], [('I', 'PRP'), ('am', 'VBP'), ('from', 'IN'), ('USTC', 'NNP'), ('.', '.')]]

分块：

名词短语分块即NP分块，NP分块往往是一个比较完整的名词短语的小片段。

为了得到一个NP块，我们需要定义它的模式，假设一个NP块是由一个PRP或PRP$开头 最后由一个NN或NNP结尾。

if __name__ == '__main__':
    mystr = 'My name is freeze, i like coding. I am in hangzhou now. I am from USTC.'
    sentences = ie_preprocess(mystr)
    grammar = "NP: {<PRP|PRP\$><.*>*<NN|NNP>}"
    cp = nltk.RegexpParser(grammar)
    for sentence in sentences:
        result = cp.parse(sentence)
        for subtree in result.subtrees():
            if subtree.node == 'NP':
                print subtree

结果：
(NP My/PRP$ name/NN is/VBZ freeze/NN)
(NP I/PRP am/VBP in/IN hangzhou/NN)
(NP I/PRP am/VBP from/IN USTC/NNP)

注：result的type是<class 'nltk.tree.Tree'>

有时词性标记不足以确定一个句子应如何分块。此时需要使用词的内容信息作为词性标记的补充。

实体识别：

文中指出使用基于词典的实体识别会产生很多问题。首先是词的限制，其次是词的多义性。

比较好的方法是第6章中提到的分类器。

关系抽取：

一旦识别出块中的实体，我们就可以提取出（x,a,y)形式的三元组，其中x,y是指定类型的命名实体，a是表示他们之间的关系。

然后我们就可以进行查找了。