shell编程基础

     Shell编程用途广泛，不管是做运维的还是做数据挖掘模型，日常的一些工作中都能用到它，如定时跑模型，取数据等等。在网易云课堂中发现北大青鸟的Linux Shell脚本应用课程，11个短视频，讲的很基础，例子也举的很多，很适合入门，本文作为一个课堂记录了，详细视频可以观看官网的视频，地址是http://study.163.com/course/courseMain.htm?courseId=306001#/courseMain，下图是视频所要讲的内容。

一 初始shell

1,什么是shell？介于内核跟用户之间的解释程序，命令解释器，翻译官

2,什么是脚本？一类使用特定语言，按预设顺序执行的文件，批处理、宏解释性程序(python,ruby,js,php,shell,asp)

3,创建第一个shell脚本?

   命令行：

   useradd zhangsan

   passwd zhangsan

   shell脚本：

   #!/bin/bash

   useradd zhangsan

   echo 123456 | passwd --stdin zhangsan

4,执行shell脚本?

   1) chmod +x ***.sh

         ./***.sh

   2) sh ***.sh

   3) source ***.sh

 

二 组合命令

find /etc -name "*.conf" -type f

在/etc文件下下找后缀为.conf文件，输出打印在控制台上

find /etc -name "*.conf" -type f | wc -l

加一个 | 管道命令 后面接着wc -l之后 ，这样会执行完前一个命令，紧接着执行第二个命令，就会显示在/etc文件目录下，后缀为.conf文件的个数

 

 

 

逻辑关系

与(&&)，或(||)，顺序执行(;)

echo "萝卜" && echo "青菜"

输出：萝卜

           青菜

echo "萝卜" || echo "青菜"

输出：萝卜

 

三 变量

 

变量基本操作

 

定义及赋值：变量名=变量值           title=beida

引用变量：$变量名，${变量名}     echo $title 输出 “beida”

双引号：允许引用、转义   echo  "$title"  输出 beida

单引号：禁止引用、转义    echo  '$title'  输出  $title

反撇号：echo `uname -r` 或者 DATE=`date -d '1 days ago' +"%Y-%m-%d"` ; ` `跟$()一样的功能

下图是运行结果

 

$?：表示前一条命令的状态，0正常，非0异常

$0：脚本自身的程序名

$1-$9：第1-第9个位置参数

$*：命令行的所有位置参数的内容

$#：命令行的位置参数个数

 

例子：

例子：

 

四 数值运算及处理

 

变整数运算操作

格式1：expr 数值1 操作符 数值2

格式2：$[数值1 操作符 数值2]

例子：注意乘号的表达式，*在shell里面是通配符，要用转义

例子：

 

 

几个数值处理技巧

变量递增 ：let 变量名++、 let 变量名--

例子：

 

使用随机数 ：RANDOM 变量    （0-32767）

 

例子：

 

生成数字序列：seq 首数 末数、seq 首数 增量 末数   跟R语言的操作还不一样(a<- seq(首数,末数,增量))

例子：seq 3默认从1开始，3为末数

 

小数运算操作

五 字符串处理

 

子串截取操作

路径分割：dirname 命令 、basename命令

例子：

 

使用expr命令：expr substr $var1 起始位置 截取长度

例子：

 

使用${var1:起始位置:截取长度}

例子：

 

字符串替换操作

例子：/old/new 把字符串第一个old换成new,//old/new 把字符串所有的old换成new

 

使用随机字符串

例子：

 

六 条件测试

 

测试操作规范

格式1：test 条件表达式

格式2：[条件表达式]

[条件表达式] && echo yes

 

例子：可以看到/etc/grub 不是文件或目录，所以[ -d "/etc/grub" ] 是错误的。

 

文件状态的检测

-e：目标是否存在；-d：是否是目录；-f：是否是文件

例子：

例子中要注意[跟-f之间有空格的

例子：

 

整数值比较、字符串匹配

 

 

 

例子：

 

 

七 使用if判断结构

程序流控制

单分枝、双分支的if应用

单分支

if 条件测试

   then 命令序列

fi

例子：

 

双分支

if 条件测试

   then 命令序列1

   else  命令序列2

fi

例子：

 

多重分值的if应用

 

双分支

if 条件测试

   then 命令序列1

elif  条件测试

   then 命令序列2

.....

else 命令序列n

fi

 

例子：

 

八 使用for循环

 

for语句结构

格式： for 变量名 in 取值列表

            do 

                  命令序列

             done

基本用法示范

例子：

 

例子：

 

 

案例实战

例子：

例子：

 

 

 

九 使用case分支

 

case语句结构

case 变量值 in

模式1)

       命令序列1

       ;;

模式2)

       命令序列2

       ;;

.....

*)

        默认命令序列

esac

 由于在shell里面分号(;)算是命令分隔符，所以case 结构里面用两个分号(;;)

基本用法示范

例子：

 

案例实战

例子：

 

例子：

 

十 awk文本处理工具

 

关于文本处理

shell输出是文本

非交互式处理方式：1）重定向、管道、命令替换；2）head、more、cut、tr；3）grep、awk、sed

 

awk基本命令格式

awk '模式 {操作}' 文件1 文件2

awk 'NR==1 {print}' /etc/hosts  #'第一行 {打印}'

 

 

常见用法示例

例子：准备文件

按行号输出文本

使用比较运算

使用正则运算

指定输出

 

十一 sed文本处理工具

 

sed基本用法

语法格式：

sed '编辑指令' 文件1 文件2 ...

sed -n '编辑指令' 文件1 文件2 ...

sed -i '编辑指令' 文件1 文件2 ...

 

编辑指令的写法

格式：[地址1[，地址2]] 操作类型

多条指令之间以分号隔开

例如 sed -n '3p;5p' /etc/hosts

 

输出文本

例子：准备

隔行输出文本

注释： 先p后n 先打印一行，然后忽略一行，接着循环。。

 

正则操作

注释：'/w2k8/,$p'   #首先查找包含w2k8的首行，$p是最后一行

 

删除文本

删除不符合条件文本 !d表示 不删除

替换文本第3,4行的hunter 替换成BADBOY 后面的/g 是所有的包含hunter

ter换成空串