人工智能-自然语言处理

pypinyin

百度AI的语音识别并不能很好的识别中文同音字,比如'圆圆','媛媛','园园'等,它是根据用户搜索关键字的热度来识别的,那么遇到中文同音字的问题要怎么处理呢?

现在就要用到Python强大的三方库了,叫 pypinyin

举个小例子:

from pypinyin import TONE,TONE2,TONE3,lazy_pinyin

a = '我叫媛媛'

res = lazy_pinyin(a,TONE)
res2 = lazy_pinyin(a,TONE2)
res3 = lazy_pinyin(a,TONE3)
print(res)
print(res2)
print(res3)

结果:

['wǒ', 'jiào', 'yuàn', 'yuàn']
['wo3', 'jia4o', 'yua4n', 'yua4n']
['wo3', 'jiao4', 'yuan4', 'yuan4']

建议大家使用TONE2或者TONE3, 对ASCII码的检索速度更快一点,不包含特殊字符,检索深度低.

jieba 分词

好的,中文同音字的问题解决了,那么,新的问题又有了,中华语言博大精深,一个问题,N多种问法,比如: '你是谁?',可以是'你叫什么名字?','你的名字叫什么?'等等,那么,怎么才能把这么多问法都指向同一个问题呢?这就引出了人工智能中的另一项技术:

自然语言处理(NLP) : 大概意思就是 让计算机明白一句话要表达的意思,NLP就相当于计算机在思考你说的话,让计算机知道"你是谁","你叫啥","你叫什么名字"是一个意思

这就要做 : 语义相似度

接下来我们用Python大法来实现一个简单的自然语言处理

现在又要用到Python强大的三方库了

第一个是将中文字符串进行分词的库叫 jieba

pip install jieba

我们通常把这个库叫做 结巴分词 确实是结巴分词,而且这个词库是 made in china , 基本用一下这个结巴分词:

import jieba

key_word = "小白兔,白又白,两只耳朵竖起来"  # 定义一句话,基于这句话进行分词
# jieba.add_word('白又白')  #添加关键字,添加的关键字就不会被拆分,比如现在的结果就是: ['白兔', '小白兔', ',', '白又白', ',', '两只', '耳朵', '竖起', '来']

cut_word = jieba.cut_for_search(key_word)  # 使用结巴分词中的cut方法进行分词,cut_for_search是基于某搜索引擎进行分词的,比cut分得更细微

print(cut_word)  # 结果是个生成器

cut_word_list = list(cut_word) 

print(cut_word_list)  # ['白兔', '小白兔', ',', '白', '又', '白', ',', '两只', '耳朵', '竖起', '来']

gensim

分词之后,就是开始下一步了.

第二个是一个语言训练库叫 gensim

pip install gensim

这个训练库很厉害, 里面封装很多机器学习的算法, 是目前人工智能的主流应用库,这个不是很好理解, 需要一定的Python数据处理的功底

Gensim是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。 
它支持包括TF-IDF，LSI，LDA，和word2vec在内的多种主题模型算法， 
支持流式训练，并提供了诸如相似度计算，信息检索等一些常用任务的API接口

import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities

l1 = ["你的名字是什么", "你今年几岁了", "你有多高你脚多大", "你脚多大"]
a = "你今年多大了"

all_doc_list = []
for doc in l1:
    doc_list = [word for word in jieba.cut(doc)]
    all_doc_list.append(doc_list)

print(all_doc_list)
doc_test_list = [word for word in jieba.cut(a)]

# 制作语料库
dictionary = corpora.Dictionary(all_doc_list)  # 制作词袋
# 词袋的理解
# 词袋就是将很多很多的词,进行排列形成一个 词(key) 与一个 标志位(value) 的字典
# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '脚多大': 10, '高': 11}
# 至于它是做什么用的,带着问题往下看

print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))

corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# 语料库:
# 这里是将all_doc_list 中的每一个列表中的词语 与 dictionary 中的Key进行匹配
# 得到一个匹配后的结果,例如['你', '今年', '几岁', '了']
# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1代表的的是 你 1代表出现一次, 5代表的是 了  1代表出现了一次, 以此类推 6 = 今年 , 7 = 几岁
print("corpus", corpus, type(corpus))

# 将需要寻找相似度的分词列表 做成 语料库 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list)
print("doc_test_vec", doc_test_vec, type(doc_test_vec))

# 将corpus语料库(初识语料库) 使用Lsi模型进行训练
lsi = models.LsiModel(corpus)
# 这里的只是需要学习Lsi模型来了解的,这里不做阐述
print("lsi", lsi, type(lsi))
# 语料库corpus的训练结果
print("lsi[corpus]", lsi[corpus])
# 获得语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])

# 文本相似度
# 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))

# 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算
sim = index[lsi[doc_test_vec]]

print("sim", sim, type(sim))

# 对下标和相似度结果进行一个排序,拿出相似度最高的结果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)

text = l1[cc[0][0]]

print(a,text)