Kaggle-How Much Did it Rain? II
Predict hourly rainfall using data from polarimetric radars
(比赛链接：https://www.kaggle.com/c/how-much-did-it-rain-ii)
关于双向LISTM层模型请参照如下链接：
http://simaaron.github.io/Estimating-rainfall-from-weather-radar-readings-using-recurrent-neural-networks/
Description
自从收到来自Kaggle社区的科学界和教育界朋友的反馈后，美国气象学会人工智能委员会迫不及待开展How Much Did it Rain？第二版竞赛。
How Much Did it Rain？II聚焦于解决同样的降雨测量预测的核心问题，但这次使用一个新的经过改进的数据集和评估指标来达到目的。这次竞赛将进一步为大学构建一个有用的教育工具，并对气象研究产生有意义的推进作用。
最近，为了提高他们的降雨量预报器，美国国家气象局将他们的雷达网络升级为偏振雷达。这些偏振雷达可以相比于传统多普勒雷达能够提供更高质量的数据，因为偏振雷达能以水平和垂直方向发射无线电波脉冲。
双脉冲更容易推断降雨量的大小和类型，因为雨滴随着尺寸的增加变得扁平，而冰晶趋向于垂直拉长。
在这个竞赛中，你被提供偏振雷达值的快照并要求预测每小时降雨量总计。注意：许多训练集中的许多计量值都不可信（例如仪表会堵塞），更多信息在data page。
Evaluation
这个比赛的评估指标是Mean Absolute（MAE）。关于选择MAE而非RMSE的选择，请参阅本文（http://climate.geog.udel.edu/~climate/publication_html/Pdf/WM_CR_05.pdf）。
Submission File
对于数据集中的每一个仪表小时，提交文件包含两列：Id和Excepted 。Id对应于test.csv中该名称的列。Excepted是预测仪表值。文件应该包含以后header和如下格式：
Id,Expected
1,0.73
2,1.23
3,0.49
etc.
Data
训练集数据包含2014年4月到8月期间美国中西部玉米种植州的20天内收集的NEXRD和MADIS数据。时间和位置信息已经被审查，数据已经被洗牌，因此他们不会按照时间和地点排序。测试数据由该月剩余天数的相同雷达和仪表数据组成。请参见本文以更好理解偏振雷达测量。
File description
- train.zip - 训练集。这个文件包括玉米成长季节每月超过20天在美国中西部仪表上进行的雷达观测。同时还提供了每个小时结束时的仪表观测值。
- test.zip - 测试集。这个文件包括与训练集相同时间的美国中西部每月剩余10天或11天的雷达观测值。你需要预测每个小时结束时的仪表观测值。
- sample_solution.zip - 一个正确格式的提交文件。
- sample_dask.py - 将生成示例提交文件的python示例程序。这个程序使用Marshall-Palmer关系于雷达观测值以预测仪表观测值。
Data column
为了理解数据，你必须意识到一小时内有多次雷达观测，只有一个仪表观测值（’Excepted‘）。这就是为什么有多行有着相同’Id'。
数据集中columns如下所示：
- Id:仪表上一小时后的一组观测值的唯一编号
- minutes_past:对于每一组雷达观测值，进行雷达观测的之间刚过一小时的分钟数。雷达观测是那个时间点的快照。
- radar_km:雷达上仪表距离地面的距离。
- Ref：以公里为单位的雷达反射率
- Ref_5x5_10th:仪表周围5x5领域中10%反射率
- Ref_5x5_50th:仪表周围5x5领域中50%反射率
- Ref_5x5_90th:仪表周围5x5领域中90%反射率
- RefCompsite:仪表上方垂直列中的最大反射率，以dBZ为单位
- RefCompsite_5x5_10th
- RefCompsite_5x5_50th
- RefCompsite_5x5_90th
- RhoHV:相关系数（无单位）
- RhoHV_5x5_10th
- RhoHV_5x5_50th
- RhoHV_5x5_90th
- Zdr:以dB为单位的差分反射率
- Zdr_5x5_10th
- Zdr_5x5_50th
- Zdr_5x5_90th
- Kdp:特定微分相位（度/公里）
- Kdp_5x5_10th
- Kdp_5x5_50th
- Kdp_5x5_90th
- Expected:小时结束时以毫米为实际仪表观测值
Code：