NLP 自然语言处理

http://www.cnblogs.com/DragonFire/p/9220523.html  -- jieba gensim 最好别分家之最简单的相似度实现

 #

短文本相似度 - 大于 0.58就认为是相似的
实例化的NLP  接口百度的
#百度AI配置
from aip import AipSpeech
from aip import AipNlp
APP_ID = '15837844'
API_KEY = '411VNGbuZVbDNZU78LqTzfsV'
SECRET_KEY = '84AnwR2NARGMqnC6WFnzqQL9WWdWh5bW'

SPEECH = AipSpeech(APP_ID, API_KEY, SECRET_KEY)
NLP = AipNlp(APP_ID, API_KEY, SECRET_KEY)
VOICE = {
        'vol': 5,
        'per': 4,
        'spd': 4,
        'pit': 7,
    }

res = NLP.simnet('我想哈巴狗', "我想听小哈巴狗")  #相似度评分
print(res['score])  #打印分数
开多线程+百度QPS增加
开多线程+多个百度自然语言处理客户端
自己做自然语言处理  - 文本相似度

#

第一个是将中文字符串进行分词的库叫 jieba
pip install jieba

#简单使用
import jieba

a = "我想听祖国祖国我们爱你"
b = "我想听祖国我爱你"

jieba.add_word("我想听")  #添加词
jieba.add_word("请播放")
jieba.add_word("我要听")

# res = list(jieba.cut(a))
# res = list(jieba.cut(a))
res_search = list(jieba.cut_for_search(a))
res = list(jieba.cut_for_search(b))  #模糊匹配
print(res)
print(res_search)

# 语言训练库叫 gensim 这个训练库很厉害, 里面封装很多机器学习的算法, 是目前人工智能的主流应用库,这个不是很好理解, 需要一定的Python数据处理的功底
import jieba
import gensim
from gensim import corpora
from gensim import models
from gensim import similarities

l1 = ["你的名字是什么", "你今年几岁了", "你有多高你胸多大", "你胸多大"]
a = "你今年多大了"

all_doc_list = []
for doc in l1: # doc = "你的名字是什么"
    doc_list = [word for word in jieba.cut_for_search(doc)]
    all_doc_list.append(doc_list)

# all_doc_list = [['你', '的', '名字', '是', '什么'], ['你', '今年', '几岁', '了'], ['你', '有', '多', '高', '你', '胸多大'], ['你', '胸多大']]

print(all_doc_list)
doc_test_list = [word for word in jieba.cut_for_search(a)]
# doc_test_list = [你，今年，多，大，了]

# 制作语料库
dictionary = corpora.Dictionary(all_doc_list)  # 制作词袋 not 磁带
#{'你':1,"的":2,"名字":3}
# 词袋的理解
# 词袋就是将很多很多的词,进行排列形成一个 词(key) 与一个 标志位(value) 的字典
# 例如: {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}
# 至于它是做什么用的,带着问题往下看
# dictionary 词袋
# dictionary = {'什么': 0, '你': 1, '名字': 2, '是': 3, '的': 4, '了': 5, '今年': 6, '几岁': 7, '多': 8, '有': 9, '胸多大': 10, '高': 11}
print("token2id", dictionary.token2id)
print("dictionary", dictionary, type(dictionary))

corpus = [dictionary.doc2bow(doc) for doc in all_doc_list]
# doc = ['你', '的', '名字', '是', '什么'] ['你', '今年', '几岁', '了']
# doc2bow(doc) -- 14230 -- 1675
# corpus = [14230,1675]

# 语料库:
# 这里是将all_doc_list 中的每一个列表中的词语 与 dictionary 中的Key进行匹配
# 得到一个匹配后的结果,例如['你', '今年', '几岁', '了']
# 就可以得到 [(1, 1), (5, 1), (6, 1), (7, 1)]
# 1代表的的是 你 1代表出现一次, 5代表的是 了  1代表出现了一次, 以此类推 6 = 今年 , 7 = 几岁
print("corpus", corpus, type(corpus))

# 将需要寻找相似度的分词列表 做成 语料库 doc_test_vec
doc_test_vec = dictionary.doc2bow(doc_test_list)
# [你，今年，多，大，了] - 1685
# doc = ['你', '的', '名字', '是', '什么'] ['你', '今年', '几岁', '了']
# doc2bow(doc) -- 14230 -- 1675
# [(0, 1), (1, 1), (2, 1), (3, 1), (4, 1)]
# [(1, 2), (8, 1), (9, 1), (10, 1), (11, 1)]
# 你有多高你胸多大

print("doc_test_vec", doc_test_vec, type(doc_test_vec))

# 将corpus语料库(初识语料库) 使用Lsi模型进行训练
lsi = models.LsiModel(corpus)

# (6,6)
#[(5,5),(3,3),(6,7),(7,9),(4,5)]
# 条件 正方形
#[100,100,0,0,0]
# 条件 正方形 80 边长+-1 20
#[100,98,20,16,18]
# 条件 矩形 20 边长+-1 20 长宽 +-1 20 正矩形 40
#[40+20+18+20,40+20+16+20,0+18+19+20]
#[98,96,57]

# 这里的只是需要学习Lsi模型来了解的,这里不做阐述
print("lsi", lsi, type(lsi))
# 语料库corpus的训练结果
print("lsi[corpus]", lsi[corpus])
# 获得语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示
print("lsi[doc_test_vec]", lsi[doc_test_vec])

# 文本相似度
# 稀疏矩阵相似度 将 主 语料库corpus的训练结果 作为初始值
index = similarities.SparseMatrixSimilarity(lsi[corpus], num_features=len(dictionary.keys()))
print("index", index, type(index))

# 将 语料库doc_test_vec 在 语料库corpus的训练结果 中的 向量表示 与 语料库corpus的 向量表示 做矩阵相似度计算
# lsi[doc_test_vec] 用户输入 通过lsi模型转换出来的 向量表示(数字)
sim = index[lsi[doc_test_vec]]

print("sim", sim, type(sim))

# 对下标和相似度结果进行一个排序,拿出相似度最高的结果
# cc = sorted(enumerate(sim), key=lambda item: item[1],reverse=True)
cc = sorted(enumerate(sim), key=lambda item: -item[1])
print(cc)

text = l1[cc[0][0]]

print(a,text)