docker网络问题排查

Docker 网络问题排查思路

作者：张首富
时间：2020-11-24
w x： y18163201

前言

再实际的生产环境中，我们为了保持 docker 镜像最小的准则，并不会在 docker 镜像里面安装没有用的东西，有时候需要探测 docker 内部访问外部的资源是否能正常访问，或者是别人请求 docker 启动的服务的时候不能正常访问，我们需要通过一系列的 网络命令(tcpdump,ping,curl)去探查的时候，发现 docker 里面并没有这些命令，下面的方法就是为了解决这个问题而诞生的；

使用nsenter 命令进入 docker 容器内的网络 namespace

nsenter命令是一个可以在指定进程的命令空间下运行指定程序的命令。它位于util-linux包中。

此外，nsenter也可以进入mnt, uts, ipc, pid, user命令空间，以及指定根目录和工作目录。

安装

# centos
yum -y install util-linux

使用说明

nsenter [options] [program [arguments]]

options:
-t, --target pid：指定被进入命名空间的目标进程的pid
-m, --mount[=file]：进入mount命令空间。如果指定了file，则进入file的命令空间
-u, --uts[=file]：进入uts命令空间。如果指定了file，则进入file的命令空间
-i, --ipc[=file]：进入ipc命令空间。如果指定了file，则进入file的命令空间
-n, --net[=file]：进入net命令空间。如果指定了file，则进入file的命令空间
-p, --pid[=file]：进入pid命令空间。如果指定了file，则进入file的命令空间
-U, --user[=file]：进入user命令空间。如果指定了file，则进入file的命令空间
-G, --setgid gid：设置运行程序的gid
-S, --setuid uid：设置运行程序的uid
-r, --root[=directory]：设置根目录
-w, --wd[=directory]：设置工作目录

如果没有给出program，则默认执行$SHELL。

使用

获取容器的 PID

# docker inspect -f {{.State.Pid}}  cadvisor
18140

进入到网络命令空间

# nsenter -n -t 18140
# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
218: eth0@if219: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 02:42:ac:11:00:03 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 172.17.0.3/16 brd 172.17.255.255 scope global eth0
       valid_lft forever preferred_lft forever

然后执行宿主机上的网络相关的命令了，然后就可以进行测试了。

kubernetes 网络排查

查找 pod 落在那个节点上

kubectl get pod -o wide

然后到这个节点上执行下面命令

function e() {
    set -eu
    ns=${2-"default"}
    pod=`kubectl -n $ns describe pod $1 | grep -Eo 'docker://.*$' | head -n 1 | sed 's/docker://(.*)$/1/'`
    pid=`docker inspect -f {{.State.Pid}} $pod`
    echo "enter pod netns successfully for $ns/$1"
    nsenter -n --target $pid
}

一键进入 pod 所在的 netns，格式：e POD_NAME NAMESPACE，示例：

e istio-galley-58c7c7c646-m6568 istio-system
e proxy-5546768954-9rxg6 # 省略 NAMESPACE 默认为 default

这时已经进入 pod 的 netns，可以执行宿主机上的 ip a 或 ifconfig 来查看容器的网卡，执行 netstat -tunlp 查看当前容器监听了哪些端口，再通过 tcpdump 抓包

依赖宿主机的命名：kubectl, docker, nsenter, grep, head, sed

参考：

https://staight.github.io/2019/09/23/nsenter命令简介/

https://TencentCloudContainerTeam.github.io/2019/05/19/capture-packets-in-container/