Theano入门神经网络(三)

附录一个：Keras学习随笔 http://blog.csdn.net/niuwei22007/article/details/49045909

参考 《Python Machine Learning》这本书的第13章

Theano是Bengio大神课题组弄得。

一、Theano初步

Theano编程三个步骤： 初始化、编译和执行，就是定义符号（变量对象）、编译代码和执行代码

举个例子:计算 z=x1*w1+wo 代码如下：

# -*- coding: utf-8 -*-
__author__ = 'Administrator'

import theano
import  theano.tensor as T
import  random
import  numpy as np
from itertools import izip
import matplotlib.pyplot as plt

#初始化
x1 = T.scalar()
w1 = T.scalar()
w0 = T.scalar()
z = w1*x1+w0

#编译

net_input = theano.function(
    inputs=[w1, x1, w0],
    outputs=z
)

#执行

print 'net input %.2f'% (net_input(2.0, 1.0 ,0.5))

在写Theano代码时，要注意变量的类型 dtype ,要分清楚我们要使用 64或者32为的int or floats

二、 配置Theano

一般来说 采用CPU时，我们设置float64 ，采用GPU时，需要设置float32

print (theano.config.floatX)

print (theano.config.device)

在window中设置CPU or GPU模式，是在运行cmd后出现的路径下，新建一个.theanorc.txt的文件。文件内容如下图所示

三、使用array结构

   一个简单的求和例子

#初始化
x = T.fmatrix(name ='x')
x_sum = T.sum(x, axis=1) # 0  是按列 1 是按行

#编译
calc_sum = theano.function(
    inputs=[x],
    outputs=x_sum
)

#执行
ary = np.array([[1,2,4],[1,2,3]],dtype=theano.config.floatX)
print calc_sum(ary)

  shared variable 和 权值更新

#初始化
x =  T.fmatrix('x')
w = theano.shared(np.asarray([[0.0,0.0,0.0]],dtype=theano.config.floatX))

z = T.dot(x,w.T) # 这个就是两个矩阵相乘 w是1*3  x是1*3

update = [[w, w+1.0]]

# 编译
net_input = theano.function(
    inputs=[x],
    updates=update,
    outputs=z
)

# 执行

data = np.array([[1,2,3]],dtype=theano.config.floatX)
for i in range(5):
    print w.get_value()
    print '%d   %.2f' % (i,net_input(data))

可以提取指定数据，代码如下

#初始化
data = np.array([[1,2,3]],dtype=theano.config.floatX)
x =  T.fmatrix('x')
w = theano.shared(np.asarray([[0.0,0.0,0.0]],dtype=theano.config.floatX))

z = T.dot(x,w.T) # 这个就是两个矩阵相乘 w是1*3  x是1*3

update = [[w, w+1.0]]

# 编译
net_input = theano.function(
    inputs=[],
    updates=update,
    givens={x : data},
    outputs=z
)

# 执行

for i in range(5):
    print w.get_value()
    print '%d   %.2f' % (i,net_input())

四、 一个线性回归的例子

X_train = np.asarray(
    [ [0,0] , [1, 0],
      [2,0] , [3, 0],
      [4,0] , [5, 0],
      [6,0] , [7, 0],
      [8,0] , [9, 0]],
    dtype= theano.config.floatX
    )

y_train = np.asarray(
    [ 1.0,1.3,3.1,2.0,
      5.0,6.3,6.6,7.4,
      8.0,9.0],
    dtype= theano.config.floatX
    )

y_train_new = np.asarray(
    [ [1.0],[1.3],[3.1],[2.0],
      [5.0],[6.3],[6.6],[7.4],
      [8.0],[9.0]],
    dtype= theano.config.floatX
    )
print X_train.shape[1] # shape 0 获取行 shape 1 获取列

def train_linreg(X_train, y_train ,eta, epochs):
    costs = []
    #初始化array0
    eta0 = T.fscalar('eta0')
    y = T.fvector(name='y')
    X = T.fmatrix(name='X')
    w = theano.shared(np.zeros(
        shape=(X_train.shape[1] +1 ),dtype= theano.config.floatX), name = 'w')

    #计算损失函数
    net_input = T.dot(X, w[1:]) + w[0] # w[1:] 从第二个到最后一个数据
    errors = y - net_input
    cost = T.sum(T.pow(errors,2))

    #梯度更新
    gradient = T.grad(cost,wrt=w)
    update = [(w, w- eta0* gradient)]

    #定义模型
    train = theano .function(inputs=[eta0],
                             outputs=cost,
                             updates=update,
                             givens={X:X_train,
                                     y: y_train})


    for i in range(epochs):
        costs.append(train(eta))
        print w.get_value()
    return  costs, w

def predict_linreg(X,w):
    Xt = T.matrix(name='X')
    net_input = T.dot(Xt, w[1:])+w[0]
    predict = theano.function(inputs=[Xt],
                              givens={w:w},
                              outputs= net_input)
    return  predict(X)


costs,w= train_linreg(X_train,y_train,eta=0.001,epochs=10)
plt.plot(range(1,len(costs)+1),costs)
plt.tight_layout()
plt.xlabel("epoch")
plt.ylabel('cost')
plt.show()
    #
#plt.scatter(X_train, y_train ,marker='s',s=50)
plt.plot(range(X_train.shape[0]),predict_linreg(X_train,w),color='gray',marker='o',markersize=4,linewidth=3)
plt.xlabel("x")
plt.ylabel('y')
plt.show()

结果图：