zoukankan      html  css  js  c++  java
  • 处理大数据量时的几个方法

    没有亲身实践过大数据量的处理,最近查了一些相关方面的资料,把自己的理解记录下来,希望有机会能得到大神的指点,为以后的开发打些基础。

            查阅到的解决大数据量的方法有:
            1.主从数据库(master-slaver),把数据库的读和写分离开,分别在不同的数据库进行,主库只进行写的操作(增删改),从库负责查询的操作,再将主库的数据同步到从库。写的库只有一个,读的库可以有多个。
               由于对数据库的查的操作比较多,当多个用户同时进行读取的操作时,由于数据阻塞会影响用户写的操作,所以把读和写分布在不同数据库上,提高主库写的性能。而当主库宕机时,可以使用从库的数据做备份,避免数据丢失。但缺点是主库和从库同步会有一定的时间延迟。
            2.使用内存数据库redis,对于redis还只是初步的了解,redis是以key-value的形式存储在内存中的(cpu先访问缓存,如果没有目标数据再访问内存,如果内存仍没有目标数据,内存就去访问磁盘,内存把访问到的数据暂时保存,交给cpu处理。这个还有待验证!),因为redis将数据存储在内存中,省掉了一步访问磁盘的过程,所以速度很快,redis存储数据的类型也比较多,分别有String、List、Set、Sort Set(有序集合)、Hash五中类型。redis实现数据持久化(将数据写入到磁盘上)有两种方式,一种是快照的形式,将redis中的数据每隔几秒做一次快照,写入.rdb文件中,但如果redis出现问题,在上一次快照之后到redis出现问题的这段时间里,数据就会丢失。另一种方式是aof方式,比快照更具有持久性,redis将每次写的操作都追加在.aof的文件中,实现数据持久化。
           3. 分布式数据库,将数据通过一定的规则分布到多个服务器上面,或者把一个表拆分成几个表来存储数据(暂时了解这么多,具体的以后再补充)。
  • 相关阅读:
    完美配置Tomcat的HTTPS
    ant的build.xml,引入第三方包
    Eclipse生成jar文件
    持续集成
    Java_Ant详解
    Python简介
    Python 2.7教程
    Eclipse和PyDev搭建完美Python开发环境(Windows篇)
    Jmeter4.0----正则表达式提取器(11)
    Jmeter4.0----设置集合点_并发(10)
  • 原文地址:https://www.cnblogs.com/xinyueBlog/p/6179146.html
Copyright © 2011-2022 走看看