第9章--基于水色图像的水质评价(一个svm实例)

from sklearn import svm

1. 数据预处理

　　针对《Python数据分析与挖掘实战》一书中第9章“基于水色图像的水质评价”。需要对原始的203张图片进行预处理，得到专家样本集。然后再使用svm分类器进行训练测试。

#!/usr/bin/env python
#-*- coding:utf-8 -*-
#数据预处理

from PIL import Image
import matplotlib.pyplot as plt 
import os
import numpy as np 
import pandas as pd 

inputfile='../data/images'
outputfile='../data/result.xls'

#注意此处:得到一个包含图片名(如：'1_10.jpg')的列表
imgslist=os.listdir(inputfile)  

result=[]
for i in range(len(imgslist)):  #203张待处理图片
    #label,number=imgslist[i].rstrip('.jpg').split('_')  #label,number分别表示类别和序号
    la=imgslist[i].rstrip('.jpg').split('_')  
    #将列表中数字字符串转换为数值
    la_numbers=[int(x) for x in la]
    
    '''1.图片切割'''
    img=Image.open(inputfile+'/'+imgslist[i])
    M,N=img.size
    box=[N/2-50,M/2-50,N/2+50,M/2+50]
    roi=img.crop(box)
    '''切割完成(100×100)'''

    '''2.特征提取'''
    #R,G,B=roi.split()  #分离三个颜色通道
    roi3=np.array(roi)/[256.0,256.0,256.0] 
    E=1.0/10000*(roi3.sum(axis=0).sum(axis=0))  #一阶颜色矩;有100×100个像素
    err=roi3-E
    delta=np.sqrt(1.0/10000*(err**2).sum(axis=0).sum(axis=0))  #二阶颜色矩
    #s=pow(1.0/N*(pow(roi3-E,3).sum(axis=0).sum(axis=0)),1.0/3)
    a=1.0/10000*(pow(err,3).sum(axis=0).sum(axis=0))
    s=abs(a)**(1.0/3)*-1  #三阶颜色矩;注意：负数开立方方法
    '''
    r_E,g_E,b_E=E
    r_del,g_del,b_del=delta
    r_s,g_s,b_s=s
    '''
    re=np.concatenate((la_numbers,E,delta,s))  #数组水平拼接，concatenate((a,b),axis=0)
    result.append(re)
    '''特征提取完毕'''

cols=[u'水质类别',u'序号',u'R通道一阶矩',u'G通道一阶矩',u'B通道一阶矩',
        u'R通道二阶矩',u'G通道二阶矩',u'B通道二阶矩',
        u'R通道三阶矩',u'G通道三阶矩',u'B通道三阶矩',]
res=pd.DataFrame(result,columns=cols)
res.to_excel(outputfile,index=False)  #index=False

2. svm

#!/usr/bin/env python
#-*- coding:utf-8 -*-

import pandas as pd 
import numpy as np 

inputfile='../data/moment.csv'
data=pd.read_csv(inputfile,encoding='gbk')  #读取数据，指定编码为gbk
data=data.as_matrix()

'''
出现问题：采用random.shuffle(data)导致data发生不可预知的变化
解决办法：采用numpy.random.shuffle(data)没有问题
'''
#from random import shuffle  #引入随机函数
np.random.shuffle(data)
data_train=data[:int(0.8*len(data)),:]  #选取80%为训练数据
data_test=data[int(0.8*len(data)):,:]  #选取20%为测试数据

x_train=data_train[:,2:]*30  #放大特征
y_train=data_train[:,0].astype(int)
x_test=data_test[:,2:]*30  #放大特征
y_test=data_test[:,0].astype(int)

'''导入模型相关的函数，建立并且训练模型'''
from sklearn import svm
model=svm.SVC()
model.fit(x_train,y_train)

'''保存/加载模型'''
import pickle
pickle.dump(model,open('../tmp/svm.model','wb'))
#model=pickle.load(open('../tmp/svm.model','rb'))

'''导入输出相关的库，生成混淆矩阵'''
from sklearn import metrics
cm_train=metrics.confusion_matrix(y_train,model.predict(x_train))  #训练数据的混淆矩阵
cm_test=metrics.confusion_matrix(y_test,model.predict(x_test))  #测试数据的混淆矩阵

'''保存结果'''
outputfile1='../tmp/cm_train.xls'
outputfile2='../tmp/cm_test.xls'
pd.DataFrame(cm_train,index=range(1,6),columns=range(1,6)).to_excel(outputfile1)
pd.DataFrame(cm_test,index=range(1,6),columns=range(1,6)).to_excel(outputfile2)

部分原始数据展示：

得到结果：

cm_train:

cm_test:                    

遇到问题：

11 '''
12 出现问题：采用random.shuffle(data)导致data发生不可预知的变化（破坏了原数据）
13 解决办法：采用numpy.random.shuffle(data)没有问题
14 '''