zoukankan      html  css  js  c++  java
  • 【技术问题】时空大数据0001---基本知识

    一、B+树、R树定义、区别及场景

     

     

    二、空间数据缓存技术设计

    1、空间数据缓存容量

    2、空间数据缓存穿透

    3、缓存数据失效

    FIFO:First In First Out,先进先出。判断被存储的时间,离目前最远的数据优先被淘汰。
    LRU:Least Recently Used,最近最少使用。判断最近被使用的时间,目前最远的数据优先被淘汰。
    LFU:Least Frequently Used,最不经常使用。在一段时间内,数据被使用次数最少的,优先被淘汰。

    缓存穿透、缓存雪崩

    https://baijiahao.baidu.com/s?id=1619572269435584821&wfr=spider&for=pc

    后端数据库和文件系统压力大

    方案:缓存空值、限流、分级缓存、缓存预热、冷热数据设置缓存过期时间、缓存用不过期

    底图:瓦片、静态资源、CDN、缓存

    数据:缓存、分布式

    三、海量遥感影像存储管理设计

    采用文件实体和索引元数据共同存储。文件实体可以采用分布式文件系统和HDFS等方案,索引元数据为结构化数据存储,分数据库存储和缓存。

    文件实体存储过程中抽取空间信息、波段信息、中心点、拍摄日期、处理状态、数据来源、文件指针、缩略图、10%影像采样图。

    结构化数据存储文件实体采集提取的结构化信息,为了提高检索效率,提供缓存查询和数据库查询两种方案。

    应用分为遥感影像背景图、遥感专题分析等场景。

    遥感影像背景图:需要经过遥感专业数据处理,比如:辐射标定、纠正、融合、裁剪、镶嵌等,然后按照密级要求偏移后做成瓦片地图发布。

    遥感专题分析:需要提供在线算法编写、影像选择、算力、存储、测试等分析平台,如分析农作物的产量,需要计算产量和绿色波段及其他波段的数据关系,然后根据影像数据进行计算。

    遥感目标识别:提供在线遥感影像展示,训练样本采集存储,识别算法训练,识别算法评估,识别算法发布,指定区域选择,识别算法调用,识别任务执行等。

    遥感数据服务:提供框选、圈选,查询指定区域遥感影像数据集(根据结构化数据查询),列表加载查询结果,缩略图显示和影像采样图地图叠加显示,勾选数据集,提交下载任务,后台根据任务清单批处理影像数据集下载流程,下载流程完成后触发邮件或短信任务通知用户。

  • 相关阅读:
    强化学习
    详解a标签中href=""的几种用法 锚点
    使用Django自带的登录访问限制login_required
    ValueError: invalid literal for int() with base 10: ''
    Django 中创建Model时报以下错误: TypeError: init() missing 1 required positional argument: ‘on_delete’
    bootstrp实现同一界面多个模态框
    第十二章 Django框架开发
    Python format 格式化函数
    Python3.x在django中如何设置Content-Disposition,才能让浏览器正确保存中文命名的文件?
    python中的*和**参数传递机制
  • 原文地址:https://www.cnblogs.com/defineconst/p/12093622.html
Copyright © 2011-2022 走看看