目标:
下载https://mirrors.aliyun.com/centos-vault/8.4.2105/PowerTools/x86_64/os/Packages/下的所有rpm包
将当前网页下载下来:
wget https://mirrors.aliyun.com/centos-vault/8.4.2105/PowerTools/x86_64/os/Packages/
会得到一个名为index.html的文件
提取文件中的所有rpm包的名称:
cat index.html | grep href | awk -F"\"" '{print $4}' >> rpm.txt
注:提取出来的信息刚开头有十几行以及最后几行需要手动删除
另外,在html中符号 + 用 + 代替,所以需要将提取文件中的 + 替换回 + 号:
sed -i "s#&\#43;#+#g" rpm.txt
因为有2000+的rpm包,可能无法一次性的下载下来,所以做一个标记(在当前目录下,如果已经有该rpm则跳过,如果没有,则下载),多下载几遍
echo > downloaded.txt
ls | grep rpm >> downloaded.txt
cat rpm.txt | while read line;do grep $line downloaded.txt;if [ $? == 1 ];then wget https://mirrors.aliyun.com/centos-vault/8.4.2105/PowerTools/x86_64/os/Packages/${line};fi;done