Kubernetes应用迁移问题定位

这个帖子记录所有的应用迁移中遇到的问题。

• 关于镜像无法启动后无法定位问题

在原有的Dockerfile中修改，加入

RUN echo "aaa" > /etc/a.log

CMD ["tail",“-f","/etc/a.log"]

然后通过kubectl exec -it ... bash进去手工运行进行定位

• Zookeeper基本操作命令

查找生产者消费者信息

./zkCli.sh -server 192.168.5.130:2888

ls /

ls /dubbo

查看消费者

ls /dubbo/com.ivan.service.provider.UserService/consumers

查看生产者

ls /dubbo/com.ivan.service.provider.UserService/providers

• 删除一直在Terminating状态的Pod

使用命令

kubectl delete pod NAME --grace-period=0 --force

之前采用的命令是

systemctl restart flanneld docker kubelet kube-proxy

但问题是会把这台主机所有的容器重新启动一次。

仔细观察了一下有几台经常处于这种状态的主机，发现机器配置是2C,4G的内存，tomcat配置的是Xmx1G,但因为程序的原因，每次启动以后，如果3个实例分在三台不同的机器上，最后宿主机的free memory在500-700m,程序吃掉大量内存，这时候如果一旦重新部署，经常发生两个实例同在一台机器上的情况时，就会出现无法释放资源，一直在terminating的状态，重新启动也花费很长的时间。

但如果三个实例均分三台机器，系统还算能保持正常，因此修改部署文件为

在spec下加入podAntiAffinity选项。

template:
    metadata:
      labels:
        app: zk
    spec:
      affinity:
        podAntiAffinity:
          requiredDuringSchedulingIgnoredDuringExecution:
            - labelSelector:
                matchExpressions:
                  - key: "app"
                    operator: In
                    values: 
                    - zk
              topologyKey: "kubernetes.io/hostname"
      containers:
      - name: k8szk
        imagePullPolicy: Always
        image: gcr.io/google_samples/k8szk:v3
        resources:
          requests:
            memory: "2Gi"
            cpu: "500m"

  

• 字符集

 JAVA_OPTS="-Xms64m -Xmx256m -XX:MaxPermSize=128m -Dfile.encoding=GBK $JAVA_OPTS"

登录容器内部，通过

locale -a

查看所有的字符集，然后在Dockerfile中设置

ENV LANG C.UTF-8

c.UTF-8本身是带有中文字符支持的。

如果有log4j,需要在properties文件中设置

log4j.appender.console.Encoding=UTF-8
log4j.appender.logfile.Encoding=UTF-8

• 容器内外的文件拷贝

kubectl cp pod_id:/pod_directory /host_directory

• 容器化的Nginx出现host not found in upstream

原理是nginx会先解析你的upstream,如果这个upstream指向一个Kubernetes服务，而这个服务没有启动的话，就无法解析，从而导致Nginx停止运行或者启动不成功。

解决办法，让nginx动态的解析upstream，而不是在启动的时候静态解析，这需要在location中间来设置，比如

upstream fp_tomcat {
      server tomcattest:8080
}

location /foo {
  resolver 127.0.0.11 ipv6=off;
  # or some other DNS (you company/internal DNS server)
  #resolver 8.8.8.8 valid=30s;
  set $upstream_foo fp_tomcat;
  proxy_pass http://$upstream_foo;
}

启动的时候，如果tomcattest服务不存在，日志中会报错，但不会影响其他的运行，当tomcattest启动以后，服务就会被成功调度

另外这个/foo路径千万小心，nginx会把foo路径带到后面的tomcat中，其实你访问

curl http://nginxsvc:nginxport/foo 就是访问tomcattest:8080/foo   这个基本问题折腾了半天。