zoukankan      html  css  js  c++  java
  • DeeplabV3+ 训练自己的遥感数据

    一、预处理数据部分

    1、创建 tfrecord(修改 deeplab dateasets build_data.py

      模型本身是把一张张 jpg 和 png 格式图片读到一个 Example 里,写入 tfrecord。但我是一个大的 tif 文件,需要把几万像素的图片分割成小块写入到一个 tfrecord 文件里,而 tf 没有对 tif 格式的图片的解码,因此不能直接使用原来的 build_data.py。

      先用 osgeo 里的 gdal 读取 tif 文件,得到大 tif 的 np.array,再设置步长一块块读取,调用 tobytes() 转成二进制字符串,保存到 tfrecord 中,不过需要把图片 shape 都设置好,大小还有维度,这点有待改进。

      最后的 tfrecord 里就只有两个数组:原图片和标签值

      加入高度和宽度信息后会报错,不知道怎么 debug,只能从头到尾固定好大小 321 了

    2、data_generator读数据(修改 deeplab dateasets data_generator.py

      加入自己的数据集,只需模仿它已经创建的数据就好,训练验证测试大小,以及忽略值等

      解码时用 tf.decode_raw() 解码,不用再根据后缀判断调用哪个。

    二、训练部分

    1、训练(修改 deeplab train.py

      参数设置里需要指定自己的数据集 dataset

      由于类别数不同,设置 initialize_last_layer=False,last_layers_contain_logits_only=True

      crop_size缩小为321(由于内存不够,将其改小,但是crop_size至少要大于300,遵循的公式是(crop_size-1)/4为整数)

    2、修改 deeplab utils train_utils.py

      159 行改成 exclude_list = ['global_step','logits'],即把 logits 层加到不恢复的列表中,这样才能训练自己的数据,改类别数

      训练的一些问题可以参考:https://github.com/tensorflow/models/issues/3730

      logits is the last feature maps before softmax. logits 层是在 softmax 前的最后一层特征图,是没有经过归一化的预测值,如果面对分类问题再经过一层 softmax 就可以得到每类的概率

      Maybe this can help you.

    The vector of raw (non-normalized) predictions that a classification model generates, which is ordinarily then passed to a normalization function. If the model is solving a multi-class classification problem, logits typically become an input to the softmax function. The softmax function then generates a vector of (normalized) probabilities with one value for each possible class.

    三、验证部分

    1、验证(修改 deeplab eval.py

      eval.py 不会出现 miou 分数,在 summary 里加入一个 tf.Print 的 op,就可以显示了

    四、可视化部分

    1、可视化(修改 deeplab vis.py

      由于没有每个文件的文件名,需要把 vis.py 里有关文件名的地方做相应的修改,sample.HEIGHT,WIDTH 也没有要注释掉。_process_batch 的参数对应修改

      需要在 get_dataset_colormap.py 中加入自己的数据集

    2、可视化标签(再修改 deeplab vis.py

      原来的 vis 只可视化了图片和预测值,为了方便比较,把真值也显示,把 tfrecord 里的真值读出来就可以

    3、可视化预测图像(修改 deeplab utils get_dataset_colormap.py

      加入自己的数据集,根据类别设置颜色个数

      可视化真值时报错 label[255] 超出索引,把忽略值直接赋值为0解决

    五、预测部分

    1、修改deeplab datasets build_data_test.py

      预测数据没有真值,需要重写一个 build_data

    2、修改 deeplab input_preprocess.py

      预测时 label 为 None,但原始影像还是要裁剪,去适配我的 data_generator,原始的不需要因为大小信息都在 tfrecord 里,会自动处理,我指定了大小

    3、修改 deeplab datasets data_generator_test.py

      不解析 label

    参考:https://blog.csdn.net/weixin_38385446/article/details/82781109

    ---------------- 坚持每天学习一点点
  • 相关阅读:
    吴裕雄--天生自然 R语言开发学习:图形初阶
    吴裕雄--天生自然 R语言开发学习:导入数据
    如何基于阿里云搭建适合初创企业的轻量级架构?
    基于协同过滤算法的推荐
    重磅!阿里巴巴工程师获得 containerd 社区席位,与社区共建云时代容器标准
    完爆 Best Fit,看阿里如何优化 Sigma 在线调度策略节约亿级成本
    阿里云物联网边缘计算加载MQTT驱动
    阿里云物联网平台体验(树莓派+Python篇)
    RAM SSO功能重磅发布 —— 满足客户使用企业本地账号登录阿里云
    阿里云高级技术专家带你全面了解云主机性能评测
  • 原文地址:https://www.cnblogs.com/tccbj/p/10628938.html
Copyright © 2011-2022 走看看