自然语言分析——实验记录

1.第一次试验：朴素贝叶斯，采用统计词数量方式处理数据conutVectorizer()

(1)训练集12695条，

　　正向：8274

　　负向：4221

   哈工大停词表：df=3,正确率0.899，

     　　　　　　　df=1,正确率0.9015

   四川大学停词表：df=1,正确率0.90035

(2)训练集19106条

       正向：11747

　　负向：7359

  哈工大停词表：df=1,正确率0.90153

2.第二次实验：朴素贝叶斯，采用idf来处理评论数据TfidfVectorizer()，而TfidfTransformer()使用时出错。

  (1)训练集19106条

       正向：11747

　　负向：7359

  哈工大停词表：df=1,正确率 0.899568

3.第三次实验：朴素贝叶斯，采用统计词数量方式处理数据conutVectorizer()

   训练集19106条

       正向：11747

　　负向：7359

    哈工大停词表：df=1

   (1)当数据向量化时，采用二元模型即conutVectorizer(ngram_range=(1,2))时出现MemeoryError错误，即内存不足。搜了原因是电脑的原因，再试试，用服务器运行。

   仍然一元模型训练集不变，把测试集中分类错误的改过来，以及语句模糊的文本删除后，正确率提升一点。

   正确率：0.9030612244897959

（2）当把分词换成精确模式而不是全模式时，精确度提高0.006

  正确率：0.908948194662

4.第四次试验 

（1）训练测试集不变，改动countVectorizer可以统计长度为 1的词后两次实验，统计词频数量的贝叶斯正确率为0.905，而用tfidf贝叶斯后，正确率降低到0.76左右，显著下降，可能是因为一个字的词太多，而总的训练数据又不够，导致idf的值就会比较小，而单个字的词频却很大，所以导致单个字的词tfidf值比较大，严重影响各个词的重要性分布，所以实验分类结果效果很差。

（2）训练测试集不变，朴素贝叶斯，采用统计词数量方式处理数据conutVectorizer()，正确率 0.9116954474097331

    　　训练测试集不变，朴素贝叶斯，采用tfidf理数据，正确率为0.9030612244897959。

5.实验五

 （1）采用逻辑斯蒂回归sklearn.linear_model.LogisticRegression()采用默认的正则化即penalty='l2'，优化方法solver='liblinear'时，正确率为0.9072691552062868

 （2）采用逻辑斯蒂回归sklearn.linear_model.LogisticRegression()采用l1正则化penalty='l1'，优化方法solver='liblinear'时，正确率为0.9084479371316306，比上面的稍有提高。

 （3）采用逻辑斯蒂回归sklearn.linear_model.LogisticRegression()采用默认的正则化即penalty='l2'，优化方法solver='lbfgs'时，正确率为0.9072691552062868

   (4)采用逻辑斯蒂回归sklearn.linear_model.LogisticRegression()采用默认的正则化即penalty='l2'，优化方法solver='newton-cg'时，正确率为0.9072691552062868

   (5)采用逻辑斯蒂回归sklearn.linear_model.LogisticRegression()采用默认的正则化即penalty='l2'，优化方法solver=' sag'时，正确率为0.906483300589391。预测准确率最差，可能是因为这个优化方法需要训练数据很大，一般大于十万条。

6.实验六

（1）采用svm来训练模型，训练测试数据都喝上一样，但由于计算时间长，取训练集的前一万条数据做训练，测试集不变，得到的正确率为0.6742632612966601

时间为1170.129秒

（2）正确率：0.6789783889980353

时间为：11404.603873968124秒，即190分钟（三小时）

（3）训练集为2000条，测试集为500条，当惩罚系数C为0.5时，正确率为0.004；C=1时正确率为0.004；C=2时正确率为0.004；C=10时正确率0.004.并不影响结果，说明这可能是个线性可分类所以惩罚想无影响。

（4）训练集为5000条，测试集为1000条，当惩罚系数C为10时，正确率为0.244;C=1时正确率为也是0.244，不用调节这个系数了，对于结果没有啥影响。

（5）训练5000条，测试2000多条，C=1，正确率0.6745283018867925，什么情况，增加测试数量会提升正确率？？？

7.实验七

（1）（phone_nlp1.py）多项式朴素贝叶斯，不特征提取，正确率为0.9058084772370487。特征5000个，正确率为0.9050235478806907。提取14000个，正确率　　       0.9046310832025117。

（2）（phone_nlp2.py）多项式朴素贝叶斯，不特征提取，正确率为0.9116954474097331。特征提取5000个，正确率为 0.9058084772370487。

      特征提取10000个，正确率为：0.9054160125588697。提取14000个，正确率0.91287

（3）（phone_nlp3.py）多项式朴素贝叶斯（tfidf），不特征提取，正确率为0.9030612244897959。

　　特征提取10000个，正确率0.9030612244897959。

　　特征提取14000个，正确率0.9030612244897959。

　　正确率不变。

 （4）（phone_nlp_logisticRegress.py）逻辑回归采用默认的正则化即penalty='l2'，优化方法solver=' sag'时，提取5000词，正确率0.9030612244897959。提取10000条。正确率0.9053045186640472。14000条，正确率0.906090373280943。

（5）（phone_nlp_logisticRegress.py）采用逻辑斯蒂回归sklearn.linear_model.LogisticRegression()采用l1正则化penalty='l1'，优化方法solver='liblinear'时，提取14000条，正确率为0.906090373280943。不提取特征，正确率0.9084479371316306。

 （6）（phone_nlp_logisticRegress.py）svm，C=100，训练集10000条，正确率0.8091872791519434，耗时: 514.3292860984802秒。

c=1000,训练集10000条，正确率0.8532182103610675，耗时: 434.3683319091797。

c=1000,训练集18000条，正确率,0.9089481946624803，耗时: 9087.535838365555秒（151分钟）。默认核函数kernel='rbf'

c=1，训练集18000条，正确率0.9030612244897959，耗时: 1851.5224463939667(30分钟），核函数kernel='linear'。

c=5，训练集18000条，正确率   0.8889324960753532，耗时: 2341.9452316761017，核函数kernel='linear'，正确率下降了，说明有点过拟合了。

c=2，训练集18000条，正确率 0.8963893249607535，耗时: 2061.1477530002594，核函数kernel='linear'。

c=1.5，训练集18000条，正确率 0.9003139717425431耗时: 2035.7577958106995，核函数kernel='linear'。

c=1.5，训练集18000条，本实验及上面的特征提取10000条，核函数kernel='linear

正确率 0.9003139717425431
召回率 0.9158134243458476
F1 0.9268854346574553
耗时: 2235.384289264679

 c=1,训练集18000条，特征提取14000条，核函数kernel='linear

正确率 0.9014913657770801
召回率 0.9197707736389685
F1 0.9274776076278533
耗时: 3104.536496400833

c=1,特征不提取，核函数kernel='linear

（7）（phone_nlp2.py）

朴素贝叶斯，全部特征

正确率 0.9124803767660911
召回率 0.9287765651924181
F1 0.935493202198438

提取14000特征

正确率 0.9116954474097331
召回率 0.9272206303724928
F1 0.9349898873158047

特征提取10000条

正确率 0.9050235478806907
召回率 0.920662100456621
F1 0.9302191464821221

（8）svm,

c=1,全特征，核函数kernel='linear

正确率 0.8975667189952904
召回率 0.918825561312608
F1 0.9244135534317985

 c=1,训练集全部，特征提取14000条，核函数kernel='linear

正确率 0.9014913657770801
召回率 0.9197707736389685
F1 0.9274776076278533
耗时: 3104.536496400833

c=1,特征10000条，

正确率 0.9030612244897959
召回率 0.9185185185185185
F1 0.9288389513108615
耗时: 2203.7621104717255

c=1.5，特征提取10000条，核函数kernel='linear

正确率 0.9003139717425431
召回率 0.9158134243458476
F1 0.9268854346574553
耗时: 2455.3551800251007

（9）逻辑斯蒂回归

全特征时，

正确率 0.9046310832025117
召回率 0.9172804532577904
F1 0.9301924734271761

特征提取14000条时，

正确率 0.9042386185243328
召回率 0.9186575654152446
F1 0.9297639608520437

特征提取10000条时，

正确率 0.9050235478806907
召回率 0.919226393629124
F1 0.9303396660909614