java 读取气象专业格式NetCDF文件

一、NetCDF简介
NetCDF全称为network Common Data Format（ “网络通用数据格式”），是一个软件库与机器无关的数据格式，支持创建，访问基于数组的科研数据。分别提供了对Java和C / C++ / Fortran语言。 对程序员来说，它和zip、jpeg、bmp文件格式类似，都是一种文件格式的标准。netcdf文件开始的目的是用于存储气象科学中的数据，现在已经成为许多数据采集软件的生成文件的格式。
从数学上来说，netcdf存储的数据就是一个多自变量的单值函数。用公式来说就是f(x,y,z,…)=value, 函数的自变量x,y,z等在netcdf中叫做维(dimension)或坐标轴(axix),函数值value在netcdf中叫做变量(Variables)。而自变量和函数值在物理学上的一些性质，比如计量单位(量纲)、物理学名称在netcdf中就叫属性(Attributes)。

二、需要用到的netcdf的jar

下载地址：https://www.unidata.ucar.edu/

本文使用版本：netcdfAll-4.6.14.jar

需要java 的jdk 8以上版本

三、读取和打印经纬度变量，了解数据组织结构

    public static void main(String[] args) {
     
        String filename = "pres_temp_4D.nc";
        NetcdfFile dataFile = null;
        try {
          dataFile = NetcdfFile.open(filename, null);
          // Get the latitude and longitude Variables.
          Variable latVar = dataFile.findVariable("latitude");
          Variable lonVar = dataFile.findVariable("longitude");


          System.out.println(NCdumpW.printVariableData(latVar, null));
          System.out.println(NCdumpW.printVariableData(lonVar, null));
          
          ArrayFloat.D1 latArray;
          ArrayFloat.D1 lonArray;

          latArray = (ArrayFloat.D1) latVar.read();
          lonArray = (ArrayFloat.D1) lonVar.read();

          System.out.println(NCdumpW.printArray(latArray, "lat", null));
          System.out.println(NCdumpW.printArray(lonArray, "lon", null));
          
          // The file is closed no matter what by putting inside a try/catch block.
        } catch (java.io.IOException e) {
          e.printStackTrace();
          return;

        } catch (InvalidRangeException e) {
          e.printStackTrace();
          return;

        } finally {
          if (dataFile != null)
            try {
              dataFile.close();
            } catch (IOException ioe) {
              ioe.printStackTrace();
            }
        }
        System.out.println("*** SUCCESS reading example file " + filename);

    }

NC数据格式：经度:从左到右（正走），纬度：从下到上（正走）

.read()：是读取这个变量所有的数据。

四、读取所有格点数据实例

@Override
    public Map<String,Object> getNCDataFromFlex(String searchDate,String elementName,String levelType)
    {
        DecimalFormat decimalFormat=new DecimalFormat(".00");//构造方法的字符格式这里如果小数不足2位,会以0补足
        //接口需求：经度:从左到右（正走），纬度：从上到下（负走）
        //NC数据格式：经度:从左到右（正走），纬度：从下到上（正走）
        String flex_nc_dir=ConfigManager.getInstance().GetProperty("flex_nc_dir");
        Map<String, Object> item = new HashMap<String, Object>();
        int rows=73;
        int cols=73;
        item.put("cols", rows);
        item.put("rows", cols);
        item.put("startLon",113.35373);//sart到end，是小到大
        item.put("startLat",37.99601);//sart到end，是大到小
        item.put("endLon",115.84625);
        item.put("endLat",36);
        item.put("stepLon",0.034);//0.034
        item.put("stepLat",-0.027);
        item.put("missValue",0);
        String filePath="";
        float [][] uArray = new float[rows][cols];
        float [][] vArray = new float[rows][cols];


        //NC数据格式：经度:从左到右（正走），纬度：从下到上（正走）
        NetcdfFile dataFile = null;
        try {

            String dateStr="";
            Date times=DateUtil.strToDate(searchDate,"yyyyMMddHHmmss");
            int hour=times.getHours();
            if(hour>=6)//早上6点以后就用当天的结果
            {
                hour=hour+1;
                dateStr=DateUtil.dateToStr(times,"yyyyMMddHHmmss").substring(0,8);
            }
            filePath=flex_nc_dir+dateStr+"/"+dateStr+".nc";
            log.info(filePath);
            dataFile = NetcdfFile.open(filePath, null);

            int[] origin = new int[]{hour, 0, 0};//开始位置：时间，经度，纬度
            int[] size = new int[]{1, rows, cols};//数据大小：时间，经度，纬度

            //输出UV
            Variable u_Var = dataFile.findVariable("U10");
            Variable v_Var = dataFile.findVariable("V10");

            float[] u_Array=(float[])  u_Var.read(origin, size).copyTo1DJavaArray();
            float[] v_Array=(float[])  v_Var.read(origin, size).copyTo1DJavaArray();

            for(int i = 0 ; i < rows; i=i+1)
            {
                for(int j = 0; j< cols; j = j+1 )
                {
                    uArray[rows-i-1][j] = Float.parseFloat(decimalFormat.format(u_Array[i *cols +j]));
                    vArray[i][j] = Float.parseFloat(decimalFormat.format(v_Array[i *cols +j]));
                }
            }

        } catch (java.io.IOException e) {
            e.printStackTrace();
            return null;

        } catch (InvalidRangeException e) {
            e.printStackTrace();
            return null;

        }finally {
            if (dataFile != null)
                try {
                    dataFile.close();
                } catch (IOException ioe) {
                    ioe.printStackTrace();
                }
        }
        item.put("uArrays",uArray);
        item.put("vArrays",vArray);
        return item;
    }

read(origin, size)：是根据开始位置origin开始读取，然后读取size数据量的数据出来。

.copyTo1DJavaArray()：是将多维变量转换成一维数组。

五、根据点位所在的经纬度，读取该位置的变量值

@Override
    public Map<String,Object> getNCFactorFromFlex(String searchDate,float lon,float lat)
    {
        DecimalFormat decimalFormat=new DecimalFormat(".00");//构造方法的字符格式这里如果小数不足2位,会以0补足
        //接口需求：经度:从左到右（正走），纬度：从上到下（负走）
        //NC数据格式：经度:从左到右（正走），纬度：从下到上（正走）
        String flex_nc_dir=ConfigManager.getInstance().GetProperty("flex_nc_dir");
        int rows=73;
        int cols=73;
        String filePath="";

        float u_value=0;
        float v_value=0;
        float p_value=0;
        float rh_value=0;


        //NC数据格式：经度:从左到右（正走），纬度：从下到上（正走）
        NetcdfFile dataFile = null;
        try {

            String dateStr="";
            Date times=DateUtil.strToDate(searchDate,"yyyyMMddHHmmss");
            int hour=times.getHours();
            if(hour>=6)//早上6点以后就用times当天的结果
            {
                hour=hour+1;
                dateStr=DateUtil.dateToStr(times,"yyyyMMddHHmmss").substring(0,8);
            }
            else//上6点前就用times前一天的结果
            {
                hour=hour+24+1;
                dateStr=DateUtil.dateToStr(DateUtil.dateAdd(times,"d",-1),"yyyyMMddHHmmss").substring(0,8);
            }
            filePath=flex_nc_dir+dateStr+"/"+dateStr+".nc";
            log.info("getNCFactorFromFlex"+filePath);

            dataFile = NetcdfFile.open(filePath, null);

            //00开始，读取第一个网格，用于计算经度序号，纬度序号
            int[] origin0 = new int[]{0, 0, 0};//开始位置：时间序号，经度序号，纬度序号
            int[] size0 = new int[]{1, 73, 73};//数据大小：时间，经度，纬度

            Variable x_Var = dataFile.findVariable("XLONG");
            Variable y_Var = dataFile.findVariable("XLAT");
            float[] x_Array=(float[])  x_Var.read(origin0, size0).copyTo1DJavaArray();
            float[] y_Array=(float[])  y_Var.read(origin0, size0).copyTo1DJavaArray();

            int x_xh=getLonXHfromNetcdf(x_Array,lon);
            int y_xh=getLatXHfromNetcdf(y_Array,lat);


            int[] origin = new int[]{hour, x_xh, y_xh};//开始位置：时间序号，经度序号，纬度序号
            int[] size = new int[]{1, 1, 1};//数据大小：时间，经度，纬度

            Variable u_Var = dataFile.findVariable("U10");
            Variable v_Var = dataFile.findVariable("V10");
            Variable p_Var = dataFile.findVariable("PSFC");
            Variable rh_Var = dataFile.findVariable("rh2");

            float[] u_Array=(float[])  u_Var.read(origin, size).copyTo1DJavaArray();
            float[] v_Array=(float[])  v_Var.read(origin, size).copyTo1DJavaArray();
            float[] p_Array=(float[])  p_Var.read(origin, size).copyTo1DJavaArray();
            float[] rh_Array=(float[])  rh_Var.read(origin, size).copyTo1DJavaArray();

            u_value=u_Array[0];
            v_value=v_Array[0];
            p_value=p_Array[0];
            rh_value=rh_Array[0];


        } catch (java.io.IOException e) {
            e.printStackTrace();
        } catch (InvalidRangeException e) {
            e.printStackTrace();
        }finally {
            if (dataFile != null)
                try {
                    dataFile.close();
                } catch (IOException ioe) {
                    ioe.printStackTrace();
                }
        }
        Map<String, Object> item=ClearCalUtil.getWindSpeed(u_value,v_value);
        item.put("u_value",Numberdf.format(u_value));
        item.put("v_value",Numberdf.format(v_value));
        item.put("p_value",Math.round(p_value/100));
        item.put("rh_value",Math.round(rh_value));
        return item;
    }
    public int getLonXHfromNetcdf(float[] x_arr,float lon)
    {
        //纬度数据，列：从前到后，变大；行：从前到后，不变,所以只需要遍历第1行的所有列即可
        int lon_xh=0;
        int rows=73;
        int cols=73;
        for(int i = 0; i< 1; i = i+1 )
        {
            for(int j = 0; j< cols; j = j+1 )
            {
                float temp=x_arr[i *cols+j];
                if(temp>lon)
                {
                    lon_xh=j;
                    return lon_xh;
                }
            }
        }

        return lon_xh;
    }
    public int getLatXHfromNetcdf(float[] y_arr,float lat)
    {
        //纬度数据，列：从前到后，不变；行：从前到后，变大,所以只需要遍历第1列的所有行即可
        int lat_xh=0;
        int rows=73;
        int cols=73;
        for(int i = 0; i< rows; i = i+1 )
        {
            for(int j = 0; j< 1; j = j+1 )
            {
                float temp=y_arr[i *cols+j];
                if(temp>lat)
                {
                    lat_xh=i;
                    return lat_xh;
                }
            }
        }

        return lat_xh;
    }

其他读取方法

   // read 3D array for that index
            ArrayFloat.D3 presArray, tempArray;

            presArray = (ArrayFloat.D3) (presVar.read(origin, shape).reduce());
            tempArray = (ArrayFloat.D3) (tempVar.read(origin, shape).reduce());
          

            // now checking the value
            int count = 0;
            for (int lvl = 0; lvl < NLVL; lvl++)
              for (int lat = 0; lat < NLAT; lat++)
                for (int lon = 0; lon < NLON; lon++) {
                  if ((presArray.get(lvl, lat, lon) != SAMPLE_PRESSURE + count) ||
                          (tempArray.get(lvl, lat, lon) != SAMPLE_TEMP + count))
                    System.err.println("ERROR incorrect value in variable pressure or temperature");
                  count++;
                }
          }