zoukankan      html  css  js  c++  java
  • mysql 优化

    [mysqld]
    skip-name-resolve必写

    key_buffer=512M
    max_connections=512
    sort_buffer_size =32M
    read_buffer_size=8M
    max_allowed_packet=4M
    table_cache=1024
    thread_stack = 256K
    thread_cache=64
    join_buffer_size=32M
    record_buffer=32M
    wait_timeout=120
    interactive_timeout=120
    max_connect_errors=30000
    long_query_time=1
    max_heap_table_size=256M
    tmp_table_size=128M
    thread_concurrency=8
    myisam_sort_buffer_size=128M


    #vim /etc/my.cnf以下只列出my.cnf文件中[mysqld]段落中的内容,其他段落内容对MySQL运行性能影响甚微,因而姑且忽略。
    代码如下 复制代码
    [mysqld]
    port = 3306
    serverid = 1
    socket = /tmp/mysql.sock
    skip-locking必写
    #避免MySQL的外部锁定,减少出错几率增强稳定性。
    skip-name-resolve
    #禁止MySQL对外部连接进行DNS解析,使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意,如果开启该选项,则所有远程主机连接授权都要使用IP地址方式,否则MySQL将无法正常处理连接请求!
    back_log = 384
    #back_log 参数的值指出在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中。 如果系统在一个短时间内有很多连接,则需要增大该参数的值,该参数值指定到来的TCP/IP连接的侦听队列的大小。不同的操作系统在这个队列大小上有它自 己的限制。 试图设定back_log高于你的操作系统的限制将是无效的。默认值为50。对于Linux系统推荐设置为小于512的整数。
    key_buffer_size = 256M
    #key_buffer_size指定用于索引的缓冲区大小,增加它可得到更好的索引处理性能。对于内存在4GB左右的服务器该参数可设置为256M或384M。有的说是内存的(针对MyISAM引擎)四分之一,但不能超过4G。
    注意:该参数值设置的过大反而会是服务器整体效率降低! 默认为8m,key_buffer_size指定索引缓冲区的大小,它决定索引处理的速度,尤其是索引读的速度。通过检查状态值Key_read_requests和Key_reads,可以知道key_buffer_size设置是否合理。比例key_reads /key_read_requests应该尽可能的低,至少是1:100,1:1000更好(上述状态值可以使用SHOW STATUS LIKE '%key_read%';获得)。key_buffer_size只对MyISAM表起作用。即使你不使用MyISAM表,但是内部的临时磁盘表是MyISAM表,也要使用该值。可以使用检查状态值created_tmp_disk_tables得知详情。 对于1G内存的机器,如果不使用MyISAM表,推荐值是16M(8-64M)
    max_allowed_packet = 4M
    thread_stack = 256K
    table_cache = 128K
    sort_buffer_size = 6M

    #查询排序时所能使用的缓冲区大小。注意:该参数对应的分配内存是每连接独占,如果有100个连接,那么实际分配的总共排序缓冲区大小为100 × 6 = 600MB。所以,对于内存在4GB左右的服务器推荐设置为6-8M。
    read_buffer_size = 4M
    #读查询操作所能使用的缓冲区大小。和sort_buffer_size一样,该参数对应的分配内存也是每连接独享。
    join_buffer_size = 8M
    #联合查询操作所能使用的缓冲区大小,和sort_buffer_size一样,该参数对应的分配内存也是每连接独享。
    myisam_sort_buffer_size = 64M
    table_cache = 512
    thread_cache_size = 64
    query_cache_size = 64M
    # 指定MySQL查询缓冲区的大小。可以通过在MySQL控制台观察,如果Qcache_lowmem_prunes的值非常大,则表明经常出现缓冲不够的 情况;如果Qcache_hits的值非常大,则表明查询缓冲使用非常频繁,如果该值较小反而会影响效率,那么可以考虑不用查询缓 冲;Qcache_free_blocks,如果该值非常大,则表明缓冲区中碎片很多。
    tmp_table_size = 256M
    max_connections = 768
    #指定MySQL允许的最大连接进程数。如果在访问论坛时经常出现Too Many Connections的错误提 示,则需要增大该参数值。
    max_connect_errors = 10000000
    wait_timeout = 10
    #指定一个请求的最大连接时间,对于4GB左右内存的服务器可以设置为5-10。
    thread_concurrency = 8
    #该参数取值为服务器逻辑CPU数量*2,在本例中,服务器有2颗物理CPU,而每颗物理CPU又支持H.T超线程,所以实际取值为4*2=8
    skip-networking
    #开启该选项可以彻底关闭MySQL的TCP/IP连接方式,如果WEB服务器是以远程连接的方式访问MySQL数据库服务器则不要开启该选项!否则将无法正常连接!
    table_cache=1024
    #物理内存越大,设置就越大.默认为2402,调到512-1024最佳
    innodb_additional_mem_pool_size=4M
    #默认为2M
    innodb_flush_log_at_trx_commit=1
    #设置为0就是等到innodb_log_buffer_size列队满后再统一储存,默认为1
    innodb_log_buffer_size=2M
    #默认为1M
    innodb_thread_concurrency=8
    #你的服务器CPU有几个就设置为几,建议用默认一般为8
    key_buffer_size=256M
    #默认为218,调到128最佳
    tmp_table_size=64M
    #默认为16M,调到64-256最挂
    read_buffer_size=4M
    #默认为64K
    read_rnd_buffer_size=16M
    #默认为256K
    sort_buffer_size=32M
    #默认为256K
    thread_cache_size=120
    #默认为60
    query_cache_size=32M


    MySQL 数据库上线后根据 status 状态优化
    天明 2012年03月10日 发表评论 被浏览366次

    网上有很多的文章教怎么配置MySQL服务器,但考虑到服务器硬件配置的不同,具体应用的差别,那些文章的做法只能作为初步设置参考,我们需要根据自己的情况进行配置优化,好的做法是MySQL服务器稳定运行了一段时间后运行,根据服务器的”状态”进行优化。

    查看MySQL服务器配置信息:

    show variables;
    查看MySQL服务器运行的各种状态值:

    show global status;
    1. 慢查询

    show variables like '%slow%';
    show global status like '%slow%';
    分析慢查询日志,找出有问题的SQL语句,慢查询时间不宜设置过长,否则意义不大,最好在5秒以内,如果你需要微秒级别的慢查询,可以考虑给MySQL打补丁:http://www.percona.com/docs/wiki/release:start,记得找对应的版本。

    2. 连接数

    经常会遇见” MySQL: ERROR 1040: Too manyconnections” 的情况:

    一种是访问量确实很高,MySQL服务器抗不住,这个时候就要考虑增加从服务器分散读压力。
    一种情况是MySQL配置文件中max_connections值过小。
    查看最大连接数:

    show variables like 'max_connections';
    查看mysql服务器过去的最大连接数:

    show global status like 'max_used_connections';
    理想值:max_used_connections / max_connections * 100% ≈ 85%

    最大连接数占上限连接数的85%左右,如果发现比例在10%以下,MySQL服务器连接数上限设置的过高了。

    3. key_buffer_size

    key_buffer_size是对MyISAM表性能影响最大的一个参数,不过数据库中多为Innodb

    查看key_buffer_size设置大小:

    show variables like 'key_buffer_size';
    查看key_buffer_size使用情况:

    show global status like 'key_read%';
    计算索引未命中缓存的概率:key_cache_miss_rate = Key_reads / Key_read_requests * 100%

    key_cache_miss_rate在0.1%以下都很好(每1000个请求有一个直接读硬盘),如果key_cache_miss_rate在0.01%以下的话,key_buffer_size分配的过多,可以适当减少。

    4. key_blocks_*参数

    show global status like 'key_blocks_u%';
    Key_blocks_unused:表示未使用的缓存簇(blocks)数
    Key_blocks_used:表示曾经用到的最大的blocks数
    理想值:Key_blocks_used / (Key_blocks_unused + Key_blocks_used) * 100% ≈ 80%

    5. 临时表

    当执行语句时,关于已经被创造了的隐含临时表的数量,查看命令:

    show global status like 'created_tmp%';
    每次创建表时Created_tmp_tables 都会增加,如果在磁盘上创建,Created_tmp_disk_tables也会增加,Created_tmp_files表示服务器创建的临时文件数

    理想值:Created_tmp_disk_tables / Created_tmp_tables * 100% ≤25%

    查看服务器对临时表的配置:

    show variables where variable_name in('tmp_table_size','max_heap_table_size');
    6.打开表的情况

    show global status like 'open%tables%';
    open_tables 表示打开表的数量,opened_tables表示打开过的表数量,如果opened_tables数量过大,说明配置中 table_cache(5.1.3之后这个值叫做table_open_cache)值可能太小

    查询服务器table_cache值:

    show variables like 'table_open_cache';
    理想值:open_tables / opened_tables * 100% ≥ 85%
    理想值:open_tables / table_cache * 100% ≤95%
    7. 进程使用情况

    如果我们在MySQL服务器配置文件中设置了thread_cache_size,当客户端断开之后,服务器处理此客户的线程将会缓存起来以响应下一个客户而不是销毁(前提是缓存数未达上限)。Threads_created表示创建过的线程数:

    show global status like 'thread%';
    如果发现Threads_created值过大的话,表明 MySQL服务器一直在创建线程,这也是比较耗资源,可以适当增加配置文件中thread_cache_size值,查询服务器 thread_cache_size配置:

    show variables like 'thread_cache_size';
    8. 查询缓存(query cache)

    查看服务器query_cache配置情况:

    show variables like 'query_cache%';
    参数解释:

    query_cache_limit:超过此大小的查询将不缓存。
    query_cache_min_res_unit:缓存块的最小值。
    query_cache_size:查询缓存大小。
    query_cache_type:缓存类型,决定缓存什么样的查询。
    query_cache_wlock_invalidate:表示当前客户端,正在对MyISAM表进行写操作时,读请求是要等SRITE LOCK释放资源后再查询,还是允许直接从Query Cache中读取结果,默认为OFF(可以直接从Query Cache 中读取结果)。
    查看服务器query_cache使用情况:

    show global status like 'qcache%';
    参数解释:

    Qcache_free_blocks:缓存中相邻内存块的个数。数目大说明可能有碎片。FLUSH QUERY CACHE会对缓存中的碎片进行整理,从而得到一个空闲块。
    Qcache_free_memory:缓存中的空闲内存。
    Qcache_hits:每次查询在缓存中命中时就增大
    Qcache_inserts:每次插入一个查询时就增大。命中次数除以插入次数就是不中比率。
    Qcache_lowmem_prunes:缓存出现内存不足并且必须要进行清理以便为更多查询提供空间的次数。这个数字最好长时间来看;如果这个数字不断增长,表示可能碎片非常严重,或内存很少。
    Qcache_not_cached:不适合进行缓存的查询的数量,通常是由于这些查询不是 SELECT 语句或者用了now()之类的函数。
    Qcache_queries_in_cache:当前缓存的查询(和响应)的数量。
    Qcache_total_blocks:缓存中块的数量。
    9. 排序使用情况

    它表示系统中对数据进行排序时所使用Buffer,查看命令:

    show global status like 'sort%';
    增大sort_buffer_size 会减少Sort_merge_passes和创建临时文件的次数,但盲目增加并不一定能提高速度。

    10. 文件打开数

    当open_files大于open_files_limit值时,mysql数据库就会发生卡住的现象,导致web服务器打开不响应的页面。

    查看open_files命令:

    show global status like 'open_files';
    查看open_files_limit命令:

    show variables like 'open_files_limit';
    理想值:open_files / open_files_limit *100% ≤ 75%


    7、MYSQL 的优化(/etc/my.cnf)
    1)确认在“[mysqld]”部分加入了“skip-innodb”和“skip-bdb”参数;
    2)确认在“[mysqld]”部分加入了“skip-name-resolve”和“skip-external-locking”参数;
    3)如果不需要的话,可以将二进制日志(binlog)停掉,方法是将“log-bin”注释掉;
    4)在内存允许的情况下,对一些参数进行重新配置,目标在于将大部分操作集中于内存中,尽量不进行磁盘操作,对于我的 MYSQL 服务器我是如下修改的,基于 2G 内存情况:

    复制代码 代码如下:


    [mysqld]
    set-variable = key_buffer=512M
    set-variable = max_allowed_packet=4M
    set-variable = table_cache=1024
    set-variable = thread_cache=64
    set-variable = join_buffer_size=32M
    set-variable = sort_buffer=32M
    set-variable = record_buffer=32M
    set-variable = max_connections=512
    set-variable = wait_timeout=120
    set-variable = interactive_timeout=120
    set-variable = max_connect_errors=30000
    set-variable = long_query_time=1
    set-variable = max_heap_table_size=256M
    set-variable = tmp_table_size=128M
    set-variable = thread_concurrency=8
    set-variable = myisam_sort_buffer_size=128M


    你可以根据“show status”命令返回的状态进行微调。我主要注意以下变量的数值,越小越好,最好为零:)
    Created_tmp_disk_tables
    Created_tmp_tables
    Created_tmp_files
    Slow_queries
    另外 mysql wait_timeout 那个值设置大了没用 做10左右就可了 (大C说得)
    wait_timeout是使用长久连线时 空闲进程的控制只要数据库在连接状态 他是不进行干预的 不管是否有查询或更新操作把这个设置小一点 再使用pconnect就比较理想了 ;)
    timeout的時間﹐我的經驗值是5-20﹐看你的SERVER的訪問量了~~ (梦飞说的)
    访问量越大 这个值就应该越小否则留出的空闲进程太多 会占用不必要的内存
    在一个15分钟在线3000人的论坛上 设置为3比较合适同时打开pconnect
    第三种
    数据库连接过多的错误,可能的原因分析及解决办法
    分析
    系统不能连接数据库,关键要看两个数据:
    1、数据库系统允许的最大可连接数max_connections。这个参数是可以设置的。如果不设置,默认是100。最大是16384。
    2、数据库当前的连接线程数threads_connected。这是动态变化的。
    查看max_connections、max_connections的办法见后。
    如果 threads_connected == max_connections 时,数据库系统就不能提供更多的连接数了,这时,如果程序还想新建连接线程,数据库系统就会拒绝,如果程序没做太多的错误处理,就会出现类似强坛的报错信息。
    因为创建和销毁数据库的连接,都会消耗系统的资源。而且为了避免在同一时间同时打开过多的连接线程,现在编程一般都使用所谓数据库连接池技术。
    但数据库连接池技术,并不能避免程序错误导致连接资源消耗殆尽。
    这种情况通常发生在程序未能及时释放数据库连接资源或其他原因造成数据库连接资源不能释放,但强坛系统估计不会发生这种低级的编程错误。
    该错误的简便的检查办法是,在刷新强坛页面时,不断监视threads_connected的变化。如果max_connections足够大,而threads_connected值不断增加以至达到max_connections,那么,就应该检查程序了。当然,如果采用数据库连接池技术,threads_connected增长到数据库连接池的最大连接线程数时,就不再增长了。
    从强坛出错的情况看,更大的可能性是数据库系统没能进行适当地配置。下面提出一点建议。供参考
    让你们的工程师把MySQL的最大允许连接数从默认的100调成32000。这就不会老出现连接过多的问题了。

    查看max_connections
    进入MySQL,用命令:show variables
    查看数据库最大可连接数的变量值:max_connections

    查看threads_connected
    进入MySQL,用命令:show status
    查看当前活动的连接线程变量值:threads_connected

    设置max_connections
    设置办法是在my.cnf文件中,添加下面的最后红色的一行:
    --------------------------------------------------------------------------------

    复制代码 代码如下:


    [mysqld]
    port=3306
    #socket=MySQL
    skip-locking
    set-variable = key_buffer=16K
    set-variable = max_allowed_packet=1M
    set-variable = thread_stack=64K
    set-variable = table_cache=4
    set-variable = sort_buffer=64K
    set-variable = net_buffer_length=2K
    set-variable = max_connections=32000


    --------------------------------------------------------------------------------
    修改完毕后,重启MySQL即可。当然,为了确保设置正确,应该查看一下max_connections。
    注意:
    1、虽然这里写的32000。但实际MySQL服务器允许的最大连接数16384;
    2、除max_connections外,上述其他配置应该根据你们系统自身需要进行配置,不必拘泥;
    3、添加了最大允许连接数,对系统消耗增加不大。
    4、如果你的mysql用的是my.ini作配置文件,设置类似,但设置的格式要稍作变通。
    可见,mysql的优化,是多样化,且根据环境不同,必须灵活调整的,大家不可生搬硬套,自己慢慢体会吧

    show processlist;
    show global status like 'Thread%';

    show processlistshow status;

    show variables like 'thread_cache_size';

    show variables like 'max_connections';

    show global status like "Max_used_connections";

    EXPLAIN
    select * from cdrpbx10

  • 相关阅读:
    spark 读取mongodb失败,报executor time out 和GC overhead limit exceeded 异常
    在zepplin 使用spark sql 查询mongodb的数据
    Unable to query from Mongodb from Zeppelin using spark
    spark 与zepplin 版本兼容
    kafka 新旧消费者的区别
    kafka 新生产者发送消息流程
    spark ui acl 不生效的问题分析
    python中if __name__ == '__main__': 的解析
    深入C++的new
    NSSplitView
  • 原文地址:https://www.cnblogs.com/xdcr/p/8664722.html
Copyright © 2011-2022 走看看