交通标识牌识别

数据集介绍

关于交通标识的数据集

一共有４３个类别

１从数字的每一个类别中随机抽取一张图片观察

可以看到图片中存在一些因素可能会对我们模型的准确度造成影响。

１图片有亮有暗，这可能是时间早晚　或者天气的影响

２凸显有大有小，这应该是由于摄像头距离标示牌的远近不同

３角度视角不同　有的图片是是倾斜的

４有些图片很模糊不清晰

５可能会有遮挡

２查看每个类别的数据量分布

有的数据的量占比较少，我们可以考虑扩充数据量的方式来增加数据量

3我们对数据进行数据增强

image_datagen = ImageDataGenerator(rotation_range=15.,
                                       zoom_range=0.2,
                                       width_shift_range=0.1,
                                       height_shift_range=0.1)

这里对每一张图像　以１５度　来进行旋转　０．２的随机缩放　０．１的水平或垂直平移。

查看一下　数据增强的结果。

原图：

数据增强结果：

４数据预处理

１模型对交通牌的识别　主要是根据　交通牌的形状经识别的。　我们　这里不考虑色彩。我们在YUV色彩空间上进行图片的识别训练。这里只考虑亮度。

２对图像进行直方图均值化处理

３均值化归一化

def get_mean_std_img(X):
    X = np.array([np.expand_dims(cv2.cvtColor(rgb_img, cv2.COLOR_RGB2YUV)[:, :, 0], 2) for rgb_img in X])
    X = np.array([np.expand_dims(cv2.equalizeHist((np.uint8(img))),2)for img in X])
    X = np.float32(X)
    mean_img = np.mean(X, axis=0)
    std_img = (np.std(X, axis=0))
    #+ np.finfo('floar32').eps
    #32wei fudianshu zuixiaozhi
    return mean_img, std_img

def preprocess_features(X, mean_img, std_img):
    # convert from RGB to YUV
    #YUV 亮度 色度 浓度
    X = np.array([np.expand_dims(cv2.cvtColor(rgb_img, cv2.COLOR_RGB2YUV)[:, :, 0], 2) for rgb_img in X])

    #zhifangtujunyunhua
    X = np.array([np.expand_dims(cv2.equalizeHist((np.uint8(img))),2)for img in X])

    X = np.float32(X)

    #standardize features
    X -= mean_img
    X /= std_img
    return X

５网络模型

http://yann.lecun.com/exdb/publis/pdf/sermanet-ijcnn-11.pdf

这个网络结构中有２个分支，其中一个分支比另一分支多进行一次卷积操作，之后把两个特征图合并。论文中指出这样做的好处是网络可以在两个不同尺度的特征上进行学习。

这样更利于模型提高准确度。

实现：

def get_model(dropout_rate = 0.0):
    input_shape = (32, 32, 1)

    input = Input(shape=input_shape)
    cv2d_1 = Conv2D(64, (3, 3), padding='same', activation='relu')(input)
    pool_1 = MaxPooling2D(pool_size=(2, 2), strides=(2, 2))(cv2d_1)
    dropout_1 = Dropout(dropout_rate)(pool_1)
    flatten_1 = Flatten()(dropout_1)

    cv2d_2 = Conv2D(64, (3,3), padding='same', activation='relu')(dropout_1)
    pool_2 = MaxPooling2D(pool_size=(2, 2), strides=(2, 2))(cv2d_2)
    cv2d_3 = Conv2D(64, (3,3), padding='same', activation='relu')(pool_2)
    dropout_2 = Dropout(dropout_rate)(cv2d_3)
    flatten_2 = Flatten()(dropout_2)

    concat_1 = concatenate([flatten_1, flatten_2])


    dense_1 = Dense(64, activation='relu')(concat_1)
    output = Dense(43, activation='softmax')(dense_1)
    model = Model(inputs=input, outputs=output)
    # compile model
    model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
    # summarize model
    model.summary()
    return model

６训练和结果

history = model.fit_generator(image_datagen.flow(x_train, y_train, batch_size=128),
                        steps_per_epoch=5000,
                        validation_data=(x_validation, y_validation),
                        epochs=8,
                        callbacks=callbacks_list,
                        verbose=1)