每个输出节点与全部的输入节点相连接，这种网络层称为全连接层，本质上是矩阵的相乘和相加运算；
由神经元相互连接而成的网络叫做神经网络，每一层为全连接层的网络叫做全连接网络；
6.5解释了为什么预处理数据到0-1才合适的原因。
影响汽车的每加仑燃油英里数的有气缸数，排量，马力，重量，加速度，生产低和年份
其中有如下关系
与书上图6.16对应，但第四个图找不到是什么！
预测的神经网络如下：
# encoding: utf-8 import tensorflow as tf from tensorflow import keras from tensorflow.keras import layers, Sequential import pandas as pd import matplotlib.pyplot as plt # input data dataset_path = keras.utils.get_file("auto-mpg.data", "http://archive.ics.uci.edu/ml/" "machine-learning-databases/auto-mpg/auto-mpg.data", cache_dir='G:2019pythonauto-mpg.data') colum_names = ['MPG', 'Cylinder', 'Displacement', 'Horsepower', 'Weight', 'Acceleration', 'Model Year', 'Origin'] # 398行数据，8列 raw_dataset = pd.read_csv(dataset_path, names=colum_names, na_values="?", comment=' ', sep=" ", skipinitialspace=True) # data process dataset = raw_dataset.copy() dataset.head() dataset.isna().sum() dataset = dataset.dropna() dataset.isna().sum() # dataset.shape = (392, 8) # 拓展dataset到10列 origin = dataset.pop('Origin') # (392, 1)得到产地 dataset['USA'] = (origin == 1) * 1.0 dataset['Europe'] = (origin == 2) * 1.0 dataset['Japan'] = (origin == 3) * 1.0 dataset.tail() # dataset.shape = (392, 10) 后三列换成三个产地，每列用0，1表示是否 # 获取训练集和测试集 train_dataset = dataset.sample(frac=0.8, random_state=0) # (314, 10) test_dataset = dataset.drop(train_dataset.index) # (78, 10) train_labels = train_dataset.pop('MPG') # (314, 1) 取出带标签“MPG”的第一列 test_labels = test_dataset.pop('MPG') # (78, 1) # 做统计 train_stats = train_dataset.describe() # (8, 9)获取一列数据的均值、标准差、最大值、最小值等 train_stats = train_stats.transpose() # (9, 8) 转置功能 # 标准化函数 def norm(x): return (x - train_stats['mean']) / train_stats['std'] # 训练集、测试集标准化 normed_train_data = norm(train_dataset) # (314, 9)数据-1：1之间 normed_test_data = norm(test_dataset) # (78, 9) print(normed_train_data.shape, train_labels.shape) # 展示最终输入的模型 print(normed_test_data.shape, test_labels.shape) #切分训练集、测试集 train_db = tf.data.Dataset.from_tensor_slices((normed_train_data.values, train_labels.values)) train_db = train_db.shuffle(314).batch(32) test_db = tf.data.Dataset.from_tensor_slices((normed_test_data.values, test_labels.values)) test_db = test_db.shuffle(78).batch(13) # 观察原始数据之间的关系 def Draw(): MPG = dataset.pop('MPG') Cylinder = dataset.pop('Cylinder') Displacement = dataset.pop('Displacement') Weight = dataset.pop('Weight') Horsepower = dataset.pop('Horsepower') Acceleration = dataset.pop('Acceleration') ModelYear = dataset.pop('Model Year') plt.figure() plt.subplot(131) plt.plot(Cylinder, MPG, 'bo') plt.xlabel('Cylinders') plt.ylabel('MPG') plt.subplot(132) plt.plot(Displacement, MPG, 'bo') plt.xlabel('Displacement') plt.ylabel('MPG') plt.subplot(133) plt.plot(Weight, MPG, 'bo') plt.xlabel('Weight') plt.ylabel('MPG') plt.savefig('three_fig_auto-MPG.png') plt.show() # 特征之间两两分布 Draw() # 创建网络 class Network(keras.Model): def __init__(self): # 回归网络模型 super(Network, self).__init__() self.fc1 = layers.Dense(64, activation='relu') # 输出64个节点 self.fc2 = layers.Dense(64, activation='relu') self.fc3 = layers.Dense(1) def call(self, inputs, training=None, mask=None): # 创建3个全连接层 x = self.fc1(inputs) x = self.fc2(x) x = self.fc3(x) return x model = Network() # 创建网络实例 model.build(input_shape = (4, 9)) # 完成内部张量的创建，4为任意设置的batch数，9为输入特征长度 model.summary() # 打印网络信息 optimizer = tf.keras.optimizers.RMSprop(0.001) # 创建优化器，指定学习率 # 保存训练和测试过程中的误差情况 train_tot_loss = [] train_tot_mae = [] test_tot_loss = [] test_tot_mae = [] for epoch in range(200): for step, (x, y) in enumerate(train_db): with tf.GradientTape() as tape: # 梯度记录器 out = model(x) # 通过网络获取输入 loss = tf.reduce_mean(tf.losses.MSE(y, out)) # 计算MSE mae_loss= tf.reduce_mean(tf.losses.MAE(y, out)) # 计算MAE if step % 10 == 0: print(epoch, step, float(loss)) train_tot_loss.append(float(loss)) train_tot_mae.append(float(mae_loss)) # 更新梯度 grads = tape.gradient(loss, model.trainable_variables) optimizer.apply_gradients(zip(grads, model.trainable_variables)) # 测试 if step % 10 == 0: test_loss, test_mae_loss = 0, 0 for x, y in test_db: test_out = model(x) test_loss = tf.reduce_mean(tf.losses.MSE(y, test_out)) test_mae_loss = tf.reduce_mean(tf.losses.MAE(y, test_out)) print(epoch, step, float(test_loss)) test_tot_loss.append(float(test_loss)) test_tot_mae.append(float(test_mae_loss)) plt.figure() plt.plot(train_tot_mae, 'b', label = 'train') plt.plot(test_tot_mae, 'r', label = 'test') plt.xlabel('Step') plt.ylabel('MAE') plt.legend() plt.savefig('train_test_auto-MPG.png') plt.show()
训练和测试误差如下：
有波动与书上很光滑不太一致，总体趋势是一致的！
注意：（1）警告：tensorflow:Layer network正在将输入张量从dtype float64转换为该层的dtype float32，这是tensorflow 2中的新行为。
未解决这个警告！
下次更新反向传播算法，Himmelbla函数优化与二分类全连接网络