当runv需要启动一个容器的时候,首先需要启动containrd,作为该容器的daemon。因此,启动containerd的相关代码也是从runv/start.go开始。最终,启动containerd的命令行参数如下所示:
runv --kernel /var/lib/hyper/kernel --initrd /var/lib/hyper/hyper-initrd.img --default_cpus 1 --default_memory 128 containerd
--solo-namespaced --containerd-dir /run/runv-namespace-457712864 --state-dir /run/runv --listen /run/runv-namespace-457712864/namespaced.sock
1、runv/containerd/containerd.go
Action: func(context *cli.Context)
(1)、对各个flag进行加载,包括driver, kernel, initrd,template,stateDir等等,上面的命令行都描述得很清晰了
(2)、调用hypervisor.HDriver, err = driverloader.Probe(driver)加载hypervisor的驱动,一般为qemu
(3)、调用f = factory.NewFromConfigs(kernel, initrd, nil)获得一个工厂实例
(4)、调用sv, err := supervisor.New(stateDir, containerdDir, f, context.GlobalInt("default_cpus"), context.GlobalInt("default_memory")),获得一个supervisor实例
(5)、如果指定了solo-namespaced参数,则调用go namespaceShare(sv, containerdDir, stateDir)
(6)、创建daemon,调用daemon(sv, context.String("listen"))
(7)、如果指定了solo-namespaced,则进行清除工作,os.RemoveAll(containerdDir)
2、runv/driverloader_linux.go
func Probe(driver string) (hypervisor.HypervisorDriver, error)
该函数针对不同的driver做初始化操作,这里我们只对driver为qemu的情况进行讨论,因此直接调用qd := qemu.InitDriver(),并且return qd。而qemu的InitDriver的操作很简单,仅仅是找到qemu的绝对路径,然后return &QemuDriver{executable: cmd.,}。
3、runv/factory/factory.go
func NewFromConfigs(kernel, initrd string, configs []FactoryConfig) Factory
因为在初始化的过程中configs为nil,因此仅仅只是调用return single.New(direct.New(1000000, 1000000, kernel, initrd))。其中direct.New返回了一个base.Factory,首先构建一个hypervisor.BootConfig的实例,b := hypervisor.BootConfig{CPU: cpu, Memory: mem, HotAddCpuMem: true, Kernel: kernel, Initrd: initrd}, 在包装一下b,return &directFactory{config: b}。而single.New(b base.Factory)仅仅只是返回 Factory{Factory: b}
Supervisor结构如下所示:
type Supervisor struct { StateDir string Factory factory.Factory defaultCpus int defaultMemory int Events SvEvents sync.RWMutex containers map[string]*Container }
4、runv/supervisor/supervisor.go
func New(stateDir, eventLogDir string, f factory.Factory, defaultCpus int , defaultMemory int) (*Supervisor, error)
首先创建stateDir目录和eventLogDir目录,接着填充数据结构Supervisor, sv := &Supervisor{...}。创建sv.Events.subscribers = make(map[chan Event]struct{})。接着go sv.reaper(),最后,return sv, sv.Events.setupEventLog(eventLogDir) // eventLogDir其实就是containerdDir。例如,/run/runv-namespace-457712864
5、runv/containerd/containerd.go
func namaspaceShare(sv *supervisor.Supervisor, namespace, state string)
该函数主要通过从events := sv.Events.Events(time.Time{})接收来的事件来对容器进行计数
(1)、当接收到的事件e的Type为EventContainerStart时,调用os.Symlink(namespace, filepath.Join(state, e.Id, "namespace")),链接两个容器的namespace,最后,containerCount++
(2)、当接收到的事件e的Type为EventExit并且e.Pid为init时,containerCount--,当containerCount为0时,调用syscall.Kill(0, syscall.SIGQUIT)(注:kill的pid为0,表示向进程组所在的所有进程发送信号)。最后,containerd的reaper接收到syscall.SIGQUIT时,退出。
6、runv/containerd/containerd.go
func daemon(sv *supervisor.Supervisor, address)
首先创建一个reaper, s := make(chan os.Signal, 2048),signal.Notify(s, syscall.SIGCHLD, syscall.SIGTERM, syscall.SIGINT, syscall.SIGQUIT)。之后,调用server, err := startServer(address, sv)启动server。最后,处理来自s的信号,若信号为syscall.SIGCHLD只调用osutils.Reap()进行简单的处理,其他信号则直接调用server.Stop()关闭containerd
7、runv/containerd/containerd.go
func startServer(address string, sv *supervisor.Supervisor) (*grpc.Server, error)
该函数主要用于创建grpc server
(1)、l, err := net.Listen(defautlListenType, address)
(2)、types.RegisterAPIServer(s, server.NewServer(sv))
(3)、go func() { s.server(l) }()
-------------------------------------------------------------------------- containerd 对 event的处理---------------------------------------------------------
1、runv/supervisor/supervisor.go
func (sv *Supervisor) reaper()
首先调用events := sv.Events.Events(time.Time{})获得一个channel,用于获取container最新的状态。之后,调用一个for循环,从events中得到事件e,当e.Type 为EventExit时,调用go sv.reap(e.ID, e.PID)
2、runv/supervisor/supervisor.go
func (sv *Supervisor) reap(container, processId string)
根据container和processId,调用go p.reap(),删除c.ownerPod.Processes中和c.Processes对应的processId, 如果c中的Process为0了,则调用go c.reap(),再依次删除c.ownerPod.Containers和sv.Containers中的container。最后,若c.ownerPod.Containers为0了,则调用go c.ownerPod.reap()
3、runv/supervisor/supervisor.go
func (se *SvEvents) setupEventLog(logDir string) error
首先调用se.readEventLog(logDir),将events.log中的内容都读取到se.eventLog中,接着调用events := se.Events(time.Time{})获取events的channel,最后将channel中读取的event写入events.log中并且也添加到se.eventLog中。其实这个函数所做的工作,就是将events.log中原有的log添加到se.eventLog中,并且将新的event添加到se.eventLog和events.log中。
4、runv/supervisor/supervisor.go
// notifySubscribers will send the provided event to the external subscriber of the events channel,就是向se.subscriber中注册的各个channel发送event
func (se *SvEvents) notifySubscribers(e Event)
仅仅只是一个简单的for循环,遍历subscribers:
for sub := range se.subscribers{
select{
// do a non-blocking send for the channel (non-blocking是指,如果sub<-e阻塞,就直接default?)
case sub <- e:
default:
glog.Infof("containerd: event not sent to the subscriber")
}
}
-------------------------------------------------------------------- process, container, pod的reap 操作 --------------------------------------------------------------------------------------
1、runv/supervisor/process.go
func (p *Process) reap()
该函数只是简单的调用p.closeStdin而已
2、runv/supervisor/process.go
func (p *Process) closeStdin() error
当p.stdinCloser不为空时,调用p.stdinCloser.Close(),最后将p.stdinCloser置为nil即可
3、runv/supervisor/container.go
func (c *Container) reap()
首先,containerShareDir := filepath.Join(hypervisor.BaseDir, c.ownerPod.vm.Id, hypervisor.ShareDirTag, c.Id),然后将containerShareDir中的rootfs umount,最后,删除containerShareDir和filepath.Join(c.ownerPod.sv.StateDir, c.Id)
4、runv/supervisor/hyperpod.go
func (hp *HyperPod) reap()
首先调用Response := hp.vm.StopPod(hp.podStatus),接着调用hp.stopNsListener(),最后删除目录filepath.Join(hypervisor.BaseDir, hp.vm.Id)