基于MXNet使用自己的图像数据集训练网络--准备数据与撰写预处理脚本

课程多，科研任务重…但还是要保持热情。

---

MXNet是一款简洁高效的深度学习框架。在准备好自己的数据集之后，我们就可以考虑使用MXNet自带的工具进行数据集打包了。

以caltech256数据集为例，caltech256数据集包含256类目标，30607张图像。数据集的简介可以在这里下载：http://authors.library.caltech.edu/7694/

在获取数据集之后，把数据集文件 256_ObjectCategories.tar 放在 your_mxnet_root/example/image-classification/data/ 目录下

cd ~/mxnet/example/image-classification/data/

./caltech256.sh 即可完成打包操作。

caltech数据集文件树比较简单，只有两层，分别是类别与类别包含的图像

256_ObjectCategories

----005.baseball-glove

--------005_0008.jpg

打包脚本比较简单，不熟悉shell或之前根本没用过shell也没关系，我加了些简单的注释，应用于自己的数据集时只要改改参数就可以了：

#!/bin/bash

# This file download the caltech 256 dataset
# (http://www.vision.caltech.edu/Image_Datasets/Caltech256/), and split it into
# the train and val rec files.

# number of images per class for training
IMG_TRAIN=60

# download
# 使用 -e 指令判断文件是否存在
if [ ! -e 256_ObjectCategories.tar ]; then
    # 使用wget指令下载数据，这里也可以换作其他工具
    wget http://www.vision.caltech.edu/Image_Datasets/Caltech256/256_ObjectCategories.tar
fi

# split into train and val set
# 解压
tar -xf 256_ObjectCategories.tar
TRAIN_DIR=caltech_256_train
# mkdir -p 支持创建多级目录，目录存在时跳过而不报错
mkdir -p ${TRAIN_DIR}
for i in 256_ObjectCategories/*; do
    c=`basename $i`
    echo "spliting $c"
    mkdir -p ${TRAIN_DIR}/$c
    # 使用管道，把文件夹中的jpg文件乱序，拿出前60个作为训练集
    for j in `ls $i/*.jpg | shuf | head -n ${IMG_TRAIN}`; do
        mv $j ${TRAIN_DIR}/$c/
    done
done

# generate lst files
# 获取当前文件夹
CUR_DIR="$( cd "$( dirname "${BASH_SOURCE[0]}" )" && pwd )"
# 获取MXNet根目录
MX_DIR=${CUR_DIR}/../../../
# 生成list文件
python ${MX_DIR}/tools/im2rec.py --list True --recursive True caltech256-train ${TRAIN_DIR}/
python ${MX_DIR}/tools/im2rec.py --list True --recursive True caltech256-val 256_ObjectCategories/
# 移动指令 mv
mv caltech256-train_train.lst caltech256-train.lst
# 删除指令 rm
rm caltech256-train_*
mv caltech256-val_train.lst caltech256-val.lst
rm caltech256-val_*

# generate rec files
# 生成训练文件
python ${MX_DIR}/tools/im2rec.py --resize 256 --quality 90 --num-thread 16 caltech256-val 256_ObjectCategories/
python ${MX_DIR}/tools/im2rec.py --resize 256 --quality 90 --num-thread 16 caltech256-train ${TRAIN_DIR}/

# clean
rm -rf ${TRAIN_DIR} 256_ObjectCategories/

如果您觉得这篇博客有一定帮助，打赏一下吧！