zoukankan      html  css  js  c++  java
  • 深度模型debug 摸索

    参考:https://zhuanlan.zhihu.com/p/89566632

    http://josh-tobin.com/assets/pdf/troubleshooting-deep-neural-networks-01-19.pdf

    做模型 90% 的时间在于 debug & tune。10% 在于推导和实现。

    模型为什么会表现糟糕

    • bug 
    • 超参数的选择
    • 数据集常见问题
      • 分布原始论文分布不一致,例如图片过于相似,原始的paper中长得差异性很大。
      • 没有足够的数据
      • 类别不平衡
      • 噪声标签
      • 训练和测试的分布不同
    • debug 策略
      • start simple: 从最简单的实现开始,建议先去除掉 normalization, smaller dataset
      • overfit a simple batch 
      • compare to a known result
  • 相关阅读:
    HDU 1423
    POJ 3264
    POJ 3177
    CodeForces 81A
    SPOJ RATING
    ZOJ 2588
    POJ 1523
    POJ 3667
    递归
    数据结构
  • 原文地址:https://www.cnblogs.com/toonice/p/14892428.html
Copyright © 2011-2022 走看看