zoukankan      html  css  js  c++  java
  • CM记录-操作系统调优

    1.避免使用swap分区---将hadoop守护进程的数据交换到磁盘的行为可能会导致操作超时:物理内存(交换)--Swap分区

    2.调整内存分配策略---操作系统内核根据vm.overcommit_memory(0-表示是否可用的内存,1-表示分配所有的物理内存,2-表示分配所有的物理内存和交换空间的所有物理内存,建议设置为2)的值来决定分配策略,并且通过vm.overcommit_radio的值来设定超过物理内存的比例

    3.修改net.core.somaxconn参数---该参数表示socket监听backlog(套接字的监听队列)的上限,默认为128,建议设置为32678,socket服务器会一次性处理backlog中的所有请求,hadoop的ipc.server.listen.queue.size参数和Linux的net.core,somaxconn参数控制了监听队列的长度,需要调大

    4.增大同时打开文件描述符的上限---对于内核来说,所有打开的文件都通过文件描述符引用,文件描述符是一个非负整数,hadoop的作业经常会读写大量文件,需要增大同时打开文件描述符的上限

    5.选择合适的文件系统,并禁用文件的访问时间---文件系统ext3和ext4会有不同的性能表现,对于HDFS来说,获取块文件的访问时间没有任何意义,建议将其禁用

    6.关闭HP(Transparent Huge Pages)--Huge Pages自动化的抽象层,会引起CPU占用率增大,建议将其关闭


  • 相关阅读:
    头文件里面的ifndef /define/endif的作用
    互联网小知识
    IT技术开发人员获得成功的六大步骤
    ab网站压力测试
    微软校招试题
    C程序编译过程浅析
    makefile变量赋值
    printf的题目
    Oracle命名规范
    javascript(js)小数精度丢失的解决方案
  • 原文地址:https://www.cnblogs.com/xinfang520/p/7684597.html
Copyright © 2011-2022 走看看