zoukankan      html  css  js  c++  java
  • 叶问9

    《叶问》是知数堂新设计的互动栏目,不定期给大家提供技术知识小贴士,形式不限,或提问、或讨论均可,并在当天发布答案,让大家轻轻松松利用碎片时间就可以学到最实用的知识点。

    2018年10月23日,周二

    MongoDB服务器CPU一直很高,最高达到900%,可能是哪些原因? 

    答:可能原因如下:

    1、高并发场景下,服务器开启numa

    2、mongo查询无索引,消耗大量内存和io

    3、服务器硬件故障,例如CPU 内存 raid卡等

    3、高并发写入下开启读写分离+oplog应用加锁 

    4、高并发短链接+最新SCRAM-SHA-1认证的情况

    2018年10月30日,周二

    MySQL运行环境中,当发现系统已经用到了swap,该怎么处理?

    答:一般来说,发生swap的原因是系统认为内存不够了。

    那么,当物理内存真的不够了,或者著名的NUMA都是引起swap的可能原因。通常的应对方法有几种:

    1、通过BIOS、系统内核参数关闭NUMA,或者在mysqld启动时,利用numactl关闭NUMA的使用

    2、调低系统使用swap的权重,设置内核参数 参数 vm.swappiness 不高s 不高于10

    3、Linux下使用free命令查看内存使用情况,确认是否发生了内存泄露,可以去微信公众号「老叶茶馆」中发送“OOM”

    4、修改MySQL参数innodb_flush_method = O_DIRECT,这样InnoDB在读写物理数据的时候会绕过cache来访问磁盘

    5、优化SQL效率,避免产生额外的分组、排序、临时表情况发生,参考文章:文章:http://t.cn/EwLIuFv

    6、在【夜间或业务不繁忙】时适合执行 swapoff -a,并执行sync刷新操作系统内存脏页到硬盘

    2018年11月1日,周四

    大量SQL语句文本,如何快速导入到MySQL中?

    答:

    1、可在SQL文本前,添加set session sql_log_bin=0(需要在从库也导入一次)。

    2、导入期间临时修改参数sync_binlog=10000、innodb_flush_log_at_trx_commit=0、innodb_autoinc_lock_mode=2。

    3、导入前,根据业务情况看能否删除除了自增列主键外的其他索引。

    4、将SQL文件切割成多份,再并发多线程导入。

    5、若该SQL文件是每个INSERT一行,需要先行将多行合并成一行,即启用extended-insert模式。

    6、以上建议,在线上环境请谨慎评估该骚操作的风险性。

    7、以上建议,仅考虑尽快导入,涉及到和具体业务需求相冲突时(例如太快导入反倒会影响在线数据库性能),以实际情况为主

  • 相关阅读:
    storm学习笔记
    Hbase学习笔记
    Hadoop实战项目之网站数据点击流分析(转载分析)
    Hive实战之学生选课
    Hive实战之求月销售额和累计销售额
    Hive实战之每年最高温度+时间
    Hive实战之学生课程成绩
    网易-C++开发实习生-业务初面和复面(视频)-20211028
    2021粤港澳大湾区智能网络与通信系统论坛-1026~1027-线上
    jupyter notebook
  • 原文地址:https://www.cnblogs.com/allenhu320/p/11347325.html
Copyright © 2011-2022 走看看