- 不要将大把时间浪费在一次性搞懂理论理解上
- 不要尝试停下来理解所有的知识点
- 不要浪费时间：请学习快速学习知识点，一天学4-5个
- 请跑代码，“真的”去跑代码。不要去深入学习理论。去玩转代码，看看它们“吃进什么吐出什么”
- 选择一个项目，认真做好，做到超棒！
- **如果卡壳了，不要停下来深挖，继续前行！
- 如果你不确定哪个学习率更好，每个都试试看。
- 当你将模型部署到生产环境，你会选择用CPU做预测，除非是巨量规模的服务请求才会用到GPU。
- 多数公司浪费大量时间在收集更多数据上。正确做法是，用一小撮数据跑跑看，然后在看问题是否是数据不够。
- 如果你认为自己“天生不擅长数学”， 请看看Rachel的TED演讲: There’s no such thing as “not a math person” 8. My own input: only 6 minutes, everyone should watch it!
- 在你使用数据集时，请务必给予数据创建者荣誉和感谢
- 记住要使用pretrained模型训练时所用的均值与方差。
- 对问题 “有理由阻止我们尝试 64x64 to 128x128 to 256x256等尺寸图片训练微调模型吗?”的回答: “是的，非常值得一试！效果不错，试试吧!”
- 如果做的是NLP，没有理由不用验证集参与训练。
- ”在怎样10%的情况下你不会使用神经网络”? “你可以都尝试，random forest和神经网络."
- 习惯使用这些词汇 (参数parameters, 层layers, 激活activations…etc) 并尝试准确使用。
- “一个潜力巨大的研究方向是各个领域数据增强研究。几乎没有关注这个方向，而我认为这是蕴藏着巨大的机会，可以帮助节省5-10倍的数据需求。”
- 如果你会花时间跑整个Nb，包括 the convolution kernel 和 the heatmap部分, 尝试实验这些代码看看他们的反应。最重要的是记住: shape也就是这里说的rank或tensor维度。尝试思考：“为什么？” 回头看看模型summary, 各个层的设置，作出的各种图，想象以下背后的机制。
- 看经典论文时, 论文里所有关于derivations/theorems/lemmas（数学公式部分）都可以忽略，因为它们无法帮助增加对深度学习的实践性理解。认真阅读关于为什么以及怎样定义和解决问题的。写下总结来帮助那些与6个月前的你的状态水平相似的人。
- 可能最重要的是和小伙伴们一起学，这样效果往往更好。组建一个读书会，学习小组，定期聚会，动手做些项目。不需要是什么特别棒的东西，只要是能让世界更美好一点，甚至是让你的2岁大孩子开心的事情。完成一件事情，然后在进一步完善它。
- 学习深度学习, 最重要的就是代码，不停写代码，看看你的输入值，输出值，尝试输出一个你的mini-batch。