linux日常运维工作
Linux的使用环境也日趋成熟,各种开源产品络绎不绝,大有百花齐放的盛景,那么当Linux落地企业,回归工作时,我们还要面对这Linux运维方面的诸多问题,今天我们特意组织一场有关Linux 在企业运用当中交流分享活动。本次活动内容丰富,在此我们进行一下系统的梳理。
一 Linux选择
选择一个适合自身企业的Linux版本系列和主流版本还是相对不容易的,下面我们来介绍一下在选择时各企业所参考的依据:
RedHat和CentOS
选择红帽子系列产品,以centos为主,主要考虑有几个方面:
- centos是redhat的编译版本,基本上没有什么大的变动
- 现在很多环境都是集群环境,包括web集群,中间件集群,rac群集等等,OS层面本身的高可用系数已经不是100%要求那么高了。
- 主流版本生命周期比较长,比较适合一个硬件的生命周期管理,基本上安装一次直到设备报废了。
- 批量安装部署方便,硬件和软件兼容性都挺好。
- 版本主要使用6版本,新上应用可以全面考虑升级使用7版本
SuSe
使用的Suse Linux Enterprise版,主要考虑因素如下:
1、该发行版本性能和稳定性比较突出
2、对客户的技术支持体系较为完备,服务响应较快(这基本上是最重要的因素)
3、对开源社区如openstack等生态拥抱得也较好。
4、版本主要是SUSE11 较多。
二 安装部署
方式:U盘,光盘和网络安装
其中网络安装已经成为了目前批量部署的首选方式:主要工具有Cobbler和PXE+kickstart
可以参考如下链接内容:
http://www.cnblogs.com/mchina/p/centos-pxe-kickstart-auto-install-os.html
三 初始化配置
禁用服务
chkconfig --level 35 iptables off
chkconfig --level 35 ip6tables off
service iptables stop
chkconfig --level 35 postfix off
禁用SeLinux
vi /etc/selinux/config SELINUX=disabled
配置YUM源配置
[root@rhel63 yum.repos.d]# vi local.repo
[local]
name=local
baseurl=file:///mnt/Server
enabled=1
gpgcheck=0
可以配置为光盘,内部YUM源或EPEL等
常用软件安装
# yum install iptraf.x86_64 unzip.x86_64 libaio.x86_64 eject sysfsutils dmidecode pciutils dstat lsscsi -y
安装xwindows
配置ntp
*/10 * * * * /usr/sbin/ntpdate 10.0.0.1
Crontab 添加如上记录,指定内部ntp服务器
SSH 登录设置
修改ssh 禁用DNS 选项:
echo "UseDNS no"
添加允许指定用户登录:
echo "AllowUsers user1"
service sshd restart
上传扫描工具
rescan-scsi-bus.sh
网络上有该脚本,下载自行使用
修改历史记录格式
echo "export HISTTIMEFORMAT='%F %T'" >> /etc/profile
四 安全加固
本次安全加固内容主要参考的是Redhat和Centos系列版本系统:
参考链接
http://www.centoscn.com/CentosSecurity/CentosSafe/2015/0315/4881.html
注释掉系统不需要的用户和用户组
注意:不建议直接删除,当你需要某个用户时,自己重新添加会很麻烦。
cp /etc/passwd /etc/passwdbak #修改之前先备份
vi /etc/passwd #编辑用户,在前面加上#注释掉此行
#adm:x:3:4:adm:/var/adm:/sbin/nologin
#lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
#sync:x:5:0:sync:/sbin:/bin/sync
#shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
#halt:x:7:0:halt:/sbin:/sbin/halt
#uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
#operator:x:11:0:operator:/root:/sbin/nologin
#games:x:12:100:games:/usr/games:/sbin/nologin
#gopher:x:13:30:gopher:/var/gopher:/sbin/nologin
#ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin#注释掉ftp匿名账号
cp /etc/group /etc/groupbak #修改之前先备份
vi /etc/group #编辑用户组,在前面加上#注释掉此行
#adm:x:4:root,adm,daemon
#lp:x:7:daemon,lp
#uucp:x:14:uucp
#games:x:20:
#dip:x:40:
关闭系统不需要的服务
service acpid stop chkconfig acpid off #停止服务,取消开机启动 #电源进阶设定,常用在 Laptop 上
service autofs stop chkconfig autofs off #停用自动挂载档桉系统与週边装置
service bluetooth stop chkconfig bluetooth off #停用Bluetooth蓝芽
service cpuspeed stop chkconfig cpuspeed off #停用控制CPU速度主要用来省电
service cups stop chkconfig cups off #停用 Common UNIX Printing System 使系统支援印表机
service ip6tables stop chkconfig ip6tables off #禁止IPv6
如果要恢复某一个服务,可以执行下面操作
service acpid start chkconfig acpid on
chmod -R 700 /etc/rc.d/init.d/*
chmod -R 777 /etc/rc.d/init.d/* #恢复默认设置
给下面的文件加上不可更改属性,从而防止非授权用户获得权限
chattr +i /etc/passwd
chattr +i /etc/shadow
chattr +i /etc/group
chattr +i /etc/gshadow
chattr +i /etc/services #给系统服务端口列表文件加锁,防止未经许可的删除或添加服务
lsattr /etc/passwd /etc/shadow /etc/group /etc/gshadow /etc/services #显示文件的属性
注意:执行以上权限修改之后,就无法添加删除用户了。
如果再要添加删除用户,需要先取消上面的设置,等用户添加删除完成之后,再执行上面的操作
chattr -i /etc/passwd #取消权限锁定设置
chattr -i /etc/shadow
chattr -i /etc/group
chattr -i /etc/gshadow
chattr -i /etc/services #取消系统服务端口列表文件加锁
现在可以进行添加删除用户了,操作完之后再锁定目录文件
限制不同文件的权限
chattr +a .bash_history #避免删除.bash_history或者重定向到/dev/null
chattr +i .bash_history
chmod 700 /usr/bin 恢复 chmod 555 /usr/bin
chmod 700 /bin/ping 恢复 chmod 4755 /bin/ping
chmod 700 /usr/bin/vim 恢复 chmod 755 /usr/bin/vim
chmod 700 /bin/netstat 恢复 chmod 755 /bin/netstat
chmod 700 /usr/bin/tail 恢复 chmod 755 /usr/bin/tail
chmod 700 /usr/bin/less 恢复 chmod 755 /usr/bin/less
chmod 700 /usr/bin/head 恢复 chmod 755 /usr/bin/head
chmod 700 /bin/cat 恢复 chmod 755 /bin/cat
chmod 700 /bin/uname 恢复 chmod 755 /bin/uname
chmod 500 /bin/ps 恢复 chmod 755 /bin/ps
禁止使用Ctrl+Alt+Del快捷键重启服务器
cp /etc/inittab /etc/inittabbak
vi /etc/inittab #注释掉下面这一行
#ca::ctrlaltdel:/sbin/shutdown -t3 -r now
使用yum update更新系统时不升级内核,只更新软件包
注意:由于系统与硬件的兼容性问题,有可能升级内核后导致服务器不能正常启动,这是非常可怕的,没有特别的需要,建议不要随意升级内核。
cp /etc/yum.conf /etc/yum.confbak
1、修改yum的配置文件 vi /etc/yum.conf 在的最后添加 exclude=kernel*
2、直接在yum的命令后面加上如下的参数:
yum --exclude=kernel* update
查看系统版本 cat /etc/issue
查看内核版本 uname –a
关闭Centos自动更新
chkconfig --list yum-updatesd #显示当前系统状态
yum-updatesd 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
service yum-updatesd stop #关闭 开启参数为start
停止 yum-updatesd: [确定]
service yum-updatesd status #查看是否关闭
yum-updatesd 已停
chkconfig --level 35 yum-updatesd off #禁止开启启动(系统模式为3、5)
chkconfig yum-updatesd off #禁止开启启动(所有启动模式全部禁止)
chkconfig --list yum-updatesd #显示当前系统状态
yum-updatesd 0:关闭 1:关闭 2:启用 3:关闭 4:启用 5:关闭 6:关闭
关闭多余的虚拟控制台
我们知道从控制台切换到 X 窗口,一般采用 Alt-F7 ,为什么呢?因为系统默认定义了 6 个虚拟控制台,
所以 X 就成了第7个。实际上,很多人一般不会需要这么多虚拟控制台的,修改/etc/inittab ,注释掉那些你不需要的。
cp /etc/inittab /etc/inittabbak
vi /etc/inittab
1:2345:respawn:/sbin/mingetty tty1
#2:2345:respawn:/sbin/mingetty tty2
#3:2345:respawn:/sbin/mingetty tty3
#4:2345:respawn:/sbin/mingetty tty4
#5:2345:respawn:/sbin/mingetty tty5
#6:2345:respawn:/sbin/mingetty tty6
修改history命令记录
cp /etc/profile /etc/profilebak
vi /etc/profile
找到 HISTSIZE=1000 改为 HISTSIZE=50
隐藏服务器系统信息
在缺省情况下,当你登陆到linux系统,它会告诉你该linux发行版的名称、版本、内核版本、服务器的名称。
为了不让这些默认的信息泄露出来,我们要进行下面的操作,让它只显示一个"login:"提示符。
删除/etc/issue和/etc/issue.net这两个文件,或者把这2个文件改名,效果是一样的。
mv /etc/issue /etc/issuebak
mv /etc/issue.net /etc/issue.netbak
优化Linux内核参数
cp /etc/sysctl.conf /etc/sysctl.confbak
vi /etc/sysctl.conf #在文件末尾添加以下内容
net.ipv4.tcp_max_syn_backlog = 65536
net.core.netdev_max_backlog = 32768
net.core.somaxconn = 32768
net.core.wmem_default = 8388608
net.core.rmem_default = 8388608
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mem = 94500000 915000000 927000000
net.ipv4.tcp_max_orphans = 3276800
net.ipv4.ip_local_port_range = 10024 65535 #(表示用于向外连接的端口范围。缺省情况下很小:32768到61000 注意:这里不要将最低值设的太低,否则可能会占用掉正常的端口! )
/sbin/sysctl -p #使配置立即生效
系统优化
cp /etc/profile /etc/profilebak2
vi /etc/profile #在文件末尾添加以下内容
ulimit -c unlimited
ulimit -s unlimited
ulimit -SHn 65535
source /etc/profile #使配置立即生效
ulimit -a #显示当前的各种用户进程限制
服务器禁止ping
cp /etc/rc.d/rc.local /etc/rc.d/rc.localbak
vi /etc/rc.d/rc.local #在文件末尾增加下面这一行
echo 1 > /proc/sys/net/ipv4/icmp_echo_ignore_all
参数0表示允许 1
检查口令策略设置是否符合复杂度要求
cp -p /etc/pam.d/system-auth /etc/pam.d/system-auth_bak
vi /etc/pam.d/system-auth
可使用pam pam_cracklib module或pam_passwdqc module实现密码复杂度,两者不能同时使用
password requisite pam_cracklib.so dcredit=-1 ucredit=-1 lcredit=-1 ocredit=-1 minclass=2 minlen=8
password sufficient pam_unix.so md5 shadow nullok try_first_pass use_authtok
检查登录提示-是否设置登录成功后警告Banner
修改文件/etc/motd的内容,如没有该文件,则创建它。
检查是否设置登录超时
执行备份:
cp -p /etc/profile /etc/profile_bak
cp -p /etc/csh.cshrc /etc/csh.cshrc_bak
修改/etc/csh.cshrc文件,添加如下行:
set autologout=30
改变这项设置后,重新登录才能有效
五 多路径设置
随着X86 环境的普及化,Linux 的市场占有率也越来越高,为了方便后续的设备管理我们和Linux 自带多路径软件的成熟化,我们在日常的设备多路径软件选择方面经常会首先考虑使用DM 软件,本次多路径设置主要是结合REDHAT和CENTOS自带软件DM--- Multipath
参考链接:
http://www.aixchina.net/Question/229227
六 OS 系统异常性能指标获取
CPU占用最高的10个进程
ps axww -o user,pid,pcpu,pmem,start,time,comm | head -1;ps axww -o user,pid,pcpu,pmem,start,time,comm | grep -v PID | sort -nr -k 3 | head
ps aux|head -1;ps aux|grep -v PID|sort -rn -k +3|head
ps auxw|head -1;ps auxw|sort -rn -k3|head -10
内存占用最高的10个进程
ps axww -o user,pid,pcpu,pmem,start,time,comm | head -1 ;ps axww -o user,pid,pcpu,pmem,start,time,comm | grep -v PID | sort -nr -k 4 | head
ps aux|head -1;ps aux|grep -v PID|sort -rn -k +4|head
ps auxw|head -1;ps auxw|sort -rn -k4|head -10
虚拟内存使用最多的前10个进程
ps auxw|head -1;ps auxw|sort -rn -k5|head -10
查看系统负载
dstat --top-mem --top-io --top-cpu --nocolor 1 10
统计当前连接数
ss -an | grep -v "State" | awk '{++S[$1]} END {for(a in S) print a, S[a]}'
netstat -tan | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
当前连接数最多的10个进程
ss -tnp | grep -v "State" | awk '{print $6}' | awk -F '"' '{print $2}' | awk '{++S[$1]} END {for(a in S) print a, S[a]}' | sort -nr -k2 | head
netstat -tnp | grep -v "Active" | grep -v "TIME_WAIT" | grep -v "State" | awk -F '/' '{print $NF}' | awk '{++S[$1]} END {for(a in S) print a, S[a]}' | sort -nr -k2 | head
七 LVM日常使用
LVM在日常运维工作当中占据着很大的比重,在此我列举LVM常见的日常操作及步骤。
- 添加一个磁盘到OS,格式化文件系统使用,参考如下: 扫描磁盘
pvcreate /dev/sdb
vgcreate -s 8M datavg /dev/sdb
lvcreate -L 10G -n datalv datavg
mkfs.ext3 /dev/datavg/datalv
mount /dev/datavg/datalv /data
lvextend -L 20G /dev/datavg/datalv
resize2fs /dev/datavg/datavlv
这个其中每个步骤就不在做详细解释,有兴趣的可以独自搜索
2.文件系统的扩容和缩小(根文件系统缩小要相当的慎重)
[1:0:0:0]cd/dvd NECVMWar VMware IDE CDR10 1.00 /dev/sr0
[2:0:0:0]disk VMware Virtual disk 1.0 /dev/sda
[2:0:1:0]disk VMware Virtual disk 1.0 /dev/sdb
[2:0:2:0]disk VMware Virtual disk 1.0 /dev/sdc
[2:0:3:0]disk VMware Virtual disk 1.0 /dev/sdd
PV VG Fmt Attr PSize PFree
/dev/sda2 VolGroup lvm2 a-- 49.51g 0
/dev/sdb VolGroup lvm2 a-- 50.00g 6.57g
Writing physical volume data to disk "/dev/sdc"
Physical volume "/dev/sdc" successfully created
Volume group "datavg" successfully created
VG #PV #LV #SN Attr VSize VFree
VolGroup 2 2 0 wz--n- 99.50g 6.57g
datavg 1 0 0 wz--n- 5.00g 5.00g
Logical volume "datalv" created
mke2fs 1.41.12 (17-May-2010)
Filesystem label=
OS type: Linux
Block size=4096 (log=2)
Fragment size=4096 (log=2)
Stride=0 blocks, Stripe width=0 blocks
196608 inodes, 786432 blocks
39321 blocks (5.00%) reserved for the super user
First data block=0
Maximum filesystem blocks=805306368
24 block groups
32768 blocks per group, 32768 fragments per group
8192 inodes per group
Superblock backups stored on blocks:
32768, 98304, 163840, 229376, 294912
Writing inode tables: done
Creating journal (16384 blocks): done
Writing superblocks and filesystem accounting information:
done
This filesystem will be automatically checked every 27 mounts or
180 days, whichever comes first. Use tune2fs -c or -i to override.
mount /dev/datavg/datalv /datafs/
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
88G 3.8G 80G 5% /
tmpfs 939M 0 939M 0% /dev/shm
/dev/sda1 485M 33M 427M 8% /boot
/dev/mapper/datavg-datalv
3.0G 69M 2.8G 3% /datafs
在线扩容文件系统:
VG #PV #LV #SN Attr VSize VFree
datavg 1 1 0 wz--n- 5.00g 2.00g
Extending logical volume datalv to 4.00 GiB
Logical volume datalv successfully resized
[root@esayops ~]# resize2fs /dev/datavg/datalv
resize2fs 1.41.12 (17-May-2010)
Filesystem at /dev/datavg/datalv is mounted on /datafs; on-line resizing required
old desc_blocks = 1, new_desc_blocks = 1
Performing an on-line resize of /dev/datavg/datalv to 1048576 (4k) blocks.
The filesystem on /dev/datavg/datalv is now 1048576 blocks long.
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
88G 3.8G 80G 5% /
tmpfs 939M 0 939M 0% /dev/shm
/dev/sda1 485M 33M 427M 8% /boot
/dev/mapper/datavg-datalv
4.0G 70M 3.7G 2% /datafs
缩小文件系统:
LV VG Attr LSize Pool Origin Data% Move Log Copy% Convert
lv_root VolGroup -wi-ao-- 89.00g
lv_swap VolGroup -wi-ao-- 3.94g
datalv datavg -wi-a--- 4.00g
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
88G 3.8G 80G 5% /
tmpfs 939M 0 939M 0% /dev/shm
/dev/sda1 485M 33M 427M 8% /boot
resize2fs 1.41.12 (17-May-2010)
Please run 'e2fsck -f /dev/datavg/datalv' first.
e2fsck 1.41.12 (17-May-2010)
Pass 1: Checking inodes, blocks, and sizes
Pass 2: Checking directory structure
Pass 3: Checking directory connectivity
Pass 4: Checking reference counts
Pass 5: Checking group summary information
/dev/datavg/datalv: 11/262144 files (0.0% non-contiguous), 34382/1048576 blocks
resize2fs 1.41.12 (17-May-2010)
Resizing the filesystem on /dev/datavg/datalv to 524288 (4k) blocks.
The filesystem on /dev/datavg/datalv is now 524288 blocks long.
Filesystem Size Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root
88G 3.8G 80G 5% /
tmpfs 939M 0 939M 0% /dev/shm
/dev/sda1 485M 33M 427M 8% /boot
/dev/mapper/datavg-datalv
2.0G 69M 1.9G 4% /datafs
3 在线删除一个共享磁盘LUN
pvremove
multipath -f
echo 1 > /sys/block/sdd/device/delete
例如:
[root@esayops /]# lsscsi -g
[1:0:0:0] cd/dvd NECVMWar VMware IDE CDR10 1.00 /dev/sr0 /dev/sg0
[2:0:0:0] disk VMware Virtual disk 1.0 /dev/sda /dev/sg1
[2:0:1:0] disk VMware Virtual disk 1.0 /dev/sdb /dev/sg2
[2:0:2:0] disk VMware Virtual disk 1.0 /dev/sdc /dev/sg3
[2:0:3:0] disk VMware Virtual disk 1.0 /dev/sdd /dev/sg4
删除一个不用的lun
[root
[root@esayops /]# lsscsi
[1:0:0:0] cd/dvd NECVMWar VMware IDE CDR10 1.00 /dev/sr0
[2:0:0:0] disk VMware Virtual disk 1.0 /dev/sda
[2:0:1:0] disk VMware Virtual disk 1.0 /dev/sdb
[2:0:2:0] disk VMware Virtual disk 1.0 /dev/sdc
删除环节:
1. Take the disk offline:
cd /sys/block/sdb/device
echo “offline” >state
2. Delete from /dev
echo 1 >delete
You can make your own script with the name rmdev ??
dev=$1
[[ ! -d “$dev” ]] && echo “$dev does not exist” && exit 1
echo “offline” >/sys/block/”$dev”/device/state
echo 1 >/sys/block/”$dev”/device/delete
八 Linux 运维命令掌握
Linux 下面日常运维使用的命令有太多了,根据个人的情况进行适当的记忆。
系统负载:top ,nmon,dstat 等
网络:ss,netstat,route,diag,ping,ip,lsof 等
io:dd,iostat,fio,nmon,dstat,pvs,lvs,vgs 等
内存:free,dstat等
进程:ps,lsof 等
配置:lscpu,lspci,dmidecode,lsscsi,udev 等
设备识别:echo '---' ,rescan-scsi-bus.sh 等
诊断:strace,ltrace等
比如还有find 如何结合xargs ,tree的使用,lsblk 等等,还有很多很多,需要长期的积累,当然主要使用还是配置查看,LVM设置,网络
还有很多成熟的开源和商业产品进行管理,在此不一一列举,感觉可自行百度和google。
目前主流的python,ruby这些语言工具可以根据自身情况选择一个掌握。
九 诊断工具
在日常的运维过程当中,不免要进行所谓的性能或者故障方面问题的诊断,工具和手段包罗万象,在此我列举一些日常使用的一些工具用于参考,
Pstack truss pmap gdb strace strace -o ssh.strace -Ttt -p 1983
ipcs 共享内存 ipcrm
ldd
logsave logsave /tmp/logsave.log ls 纪录命令的输出到文件
lastlog 纪录用户最后的登录时间 lastb显示用户错误登录的纪录
logwatch 监控分析日志信息
grpck /etc/group
pwck /etc/passwd
pidstat pidof
iostat -xdm 1
blockdev
curl 访问web 测试 比lynx好一点
这里附上一幅Linux 开机流程图,这样很多人就可以更加清楚的了解了Linux在启动的整个流程,编译此类问题的解决。
123.png
十 网络必杀技
Netcat,SSH 几种隧道转发模式 ,lsof,dstat ,ethtool,iptraf,iperf,diag,route 和多个网卡路由及双网卡绑定技术值得了解,这些都是os层面运维网络方面经常会使用到的几个方面
在日常较为常用的操作就是进行双网卡的绑定,下面分享一个绑定的具体流程:
1、cp /etc/sysconfig/network/ifcfg-eth0 /etc/sysconfig/network/ifcfg-eth0.bak
cp /etc/sysconfig/network/ifcfg-eth0 /etc/sysconfig/network/ifcfg-bond0
2、vi /etc/sysconfig/network/ifcfg-eth0,注释所有(除以下两行内容),并将值修改如下:
BOOTPROTO='none'
STARTMODE='off'
3、cp /etc/sysconfig/network/ifcfg-eth0 /etc/sysconfig/network/ifcfg-eth1
4、vi /etc/sysconfig/network/ifcfg-bond0,增加或更新如下内容,其他内容可注释:
BOOTPROTO='static'
IPADDR='192.168.1.100'
NETMASK='255.255.255.0'
STARTMODE='onboot'
BONDING_MASTER='yes'
BONDING_MODULE_OPTS='mode=0 miimon=100 use_carrier=0'
BONDING_SLAVE0='eth0'
BONDING_SLAVE1='eth1'
说明:以上配置mode=0为负载均衡模式,如果需要配置成主备模式,BONDING_MODULE_OPTS配置如下:
BONDING_MODULE_OPTS='mode=1 miimon=100 use_carrier=0 primary=eth0'
5、rcnetwork restart,重启网络服务生效,并进行测试。
6、cat /proc/net/bonding/bond0 可以查看bonding的状态。