tf.contrib.learn.preprocessing.VocabularyProcessor

 

tflearn的VocabularyProcessor用法：建立中文词汇表和把文本转为词ID序列

tf.contrib.learn.preprocessing.VocabularyProcessor(max_document_length, min_frequency=0, vocabulary=None, tokenizer_fn=None)

max_document_length: 文档的最大长度。如果文本的长度大于最大长度，那么它会被剪切，反之则用0填充。

min_frequency: 词频的最小值，出现次数小于最小词频则不会被收录到词表中。

vocabulary: CategoricalVocabulary 对象。

tokenizer_fn：分词函数

例：

from jieba import cut

import tensorflow as tf

DOCUMENTS = [

    '这是一条测试1',

    '这是一条测试2',

    '这是一条测试3',

    '这是其他测试',

]

def chinese_tokenizer(documents):

    """

    把中文文本转为词序列

    """

    for document in documents:

        # 英文转小写

        text = text.lower()

        # 分词

        yield list(cut(text))

# 序列长度填充或截取到20，删除词频<=2的词

vocab = tf.contrib.learn.preprocessing.VocabularyProcessor(20, 0, tokenizer_fn=chinese_tokenizer)

# 创建词汇表，创建后不能更改

vocab.fit(DOCUMENTS)

# 保存和加载词汇表

#vocab.save('vocab.pickle')

#vocab = VocabularyProcessor.restore('vocab.pickle')

# 文本转为词ID序列，未知或填充用的词ID为0

id_documents = list(vocab.transform(DOCUMENTS))

for id_document in id_documents:

    print(id_document)

[1 2 3 4 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[1 2 3 5 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[1 2 3 6 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

[1 7 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0]

for document in vocab.reverse(id_documents):

print(document)

这是 一条 测试 1 <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK>

这是 一条 测试 2 <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK>

这是 一条 测试 3 <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK>

这是 其他 测试 <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK> <UNK>