iommu分析之intel irq remap框架实现

背景介绍：

IRQ域层级结构：
在某些架构上，可能有多个中断控制器参与将一个中断从设备传送到目标CPU。
让我们来看看x86平台上典型的中断传递路径吧

Device --> IOAPIC -> Interrupt remapping Controller -> Local APIC -> CPU

涉及到的中断控制器有三个:

1. IOAPIC 控制器
2. 中断重映射控制器
3. Local APIC 控制器

如果是之前就对x86的中断控制器比较熟悉的同学，并且细心的话，会发现我们将 中断重映射控制器 的顺序排在了 Local APIC 控制器 之前。

为了支持这样的硬件拓扑结构，使软件架构与硬件架构相匹配，为每个中断控制器建立一
个irq_domain数据结构，并将这些irq_domain组织成层次结构。linux中断处理子系统有两个很重要的概念就是irq_chip和irq_domain，IOMMU为了支持interrupt remapping也增加了这两个东西。
理解这点非常重要，irq_remap 模块必须按照irq 的子系统方式来实现 irq_chip 和irq_domain.

在建立irq_domain层次结构时，靠近设备的irq_domain为子域，靠近CPU的
irq_domain为父域。所以在上面的例子中，将建立如下的层次结构。
::

    CPU Vector irq_domain (root irq_domain to manage CPU vectors)
            ^
            |
    Interrupt Remapping irq_domain (manage irq_remapping entries)
            ^
            |
    IOAPIC irq_domain (manage IOAPIC delivery entries/pins)

使用irq_domain层次结构的主要接口有四个:

1. irq_domain_alloc_irqs(): 分配IRQ描述符和与中断控制器相关的资源来传递这些中断。
2. irq_domain_free_irqs(): 释放IRQ描述符和与这些中断相关的中断控制器资源。
3. irq_domain_activate_irq(): 激活中断控制器硬件以传递中断。
4. irq_domain_deactivate_irq(): 停用中断控制器硬件，停止传递中断。

为了支持irq_domain层次结构，需要做如下修改:

1. 一个新的字段 'parent' 被添加到irq_domain结构中；它用于维护irq_domain的层次信息。
2. 一个新的字段 'parent_data' 被添加到irq_data结构中；它用于建立层次结构irq_data以
   匹配irq_domain层次结构。irq_data用于存储irq_domain指针和硬件irq号。
3. 新的回调被添加到irq_domain_ops结构中，以支持层次结构的irq_domain操作。

在支持分层irq_domain和分层irq_data准备就绪后，为每个中断控制器建立一个irq_domain结
构，并为每个与IRQ相关联的irq_domain分配一个irq_data结构。现在我们可以再进一步支持堆
栈式(层次结构)的irq_chip。也就是说，一个irq_chip与层次结构中的每个irq_data相关联。
一个子irq_chip可以自己或通过与它的父irq_chip合作来实现一个所需的操作。

通过堆栈式的irq_chip，中断控制器驱动只需要处理自己管理的硬件，在需要的时候可以向其父
irq_chip请求服务。所以我们可以实现更简洁的软件架构。

为了让中断控制器驱动程序支持irq_domain层次结构，它需要做到以下几点:

1. 实现 irq_domain_ops.alloc 和 irq_domain_ops.free
2. 可选择地实现 irq_domain_ops.activate 和 irq_domain_ops.deactivate.
3. 可选择地实现一个irq_chip来管理中断控制器硬件。
4. 不需要实现irq_domain_ops.map和irq_domain_ops.unmap，它们在层次结构
   irq_domain中是不用的。

irq_domain层次结构绝不是x86特有的，大量用于支持其他架构，如ARM、ARM64等。

ir 模块，ir就是interrupt remapping的简写，下同。

//caq:既然是中断ir，那么既要完成irq_domain_ops的实现，又要完成irq_chip的实现，如同背景介绍单元
static struct irq_chip intel_ir_chip = {
	.name			= "INTEL-IR",
	.irq_ack		= apic_ack_irq,
	.irq_set_affinity	= intel_ir_set_affinity,//caq:ir 对irq_chip只实现了部分函数
	.irq_compose_msi_msg	= intel_ir_compose_msi_msg,
	.irq_set_vcpu_affinity	= intel_ir_set_vcpu_affinity,
};

而irq_domain的实现如下：

//caq:主要完成irq_domain相关的ops操作
static const struct irq_domain_ops intel_ir_domain_ops = {
	.alloc = intel_irq_remapping_alloc,//caq:在某个irq_domain中申请一段irqs
	.free = intel_irq_remapping_free,
	.activate = intel_irq_remapping_activate,
	.deactivate = intel_irq_remapping_deactivate,
};

kvm的物理中断号来自于vfio，vfio_msi_set_vector_signal向系统申请物理中断号，传递给kvm，当外设触发中断后，
IOMMU先处理，再给vcpu所在的物理cpu发起一个物理中断，物理cpu从not-root exit出来，
vfio的vfio_msihandler进行中断处理，通过eventfd给kvm一个信号，
kvm更新VMCS中虚拟中断字段，物理cpu重新enter non-root模式把虚拟中断中断注入。

Interrupt Posting是在Interrupt Remapping的基础上进一步提升了直通设备的中断处理效率，使用Posting模式时，
vcpu可以直接在non-root模式下处理中断而不会被vm-exit到宿主机。

struct pi_desc {
    u32 pir[8];//caq:每个bit代表一个vector，一共表示32*8个vector，posting哪个vector，对应bit就置1
    union {
        struct {
            u16 on : 1;//caq:有中断Posting事件
            u16 sn : 1;//caq:非紧急中断，是否要立即通知
            u16 rsvd_1 : 14;
            u8 nv;//caq:nv的值为如下两个
//#define POSTED_INTR_VECTOR		0xf2//caq:当前vcpu正在执行
#define POSTED_INTR_WAKEUP_VECTOR	0xf1//caq:当前vcpu是休眠状态，硬件通知的中断是通知的vcpu所在的物理cpu，物理cpu收到中断事件后需要唤醒vcpu。
            u8 rsvd_2;
            u32 ndst;
        };
        u64 control;
    };
    u32 rsvd[6];
}
SIZE: 64

中断虚拟化的芯片发展路径可以看做：
1、8259虚拟实现，pic/apic虚拟实现，msi/msix的虚拟实现
伴随着的是，用户空间实现中断虚拟化，kvm实现中断虚拟化，最后是在硬件层面实现中断虚拟化。（也就是virtual apic page 来替代 apic-access page 的过程）

调试功能:
打开CONFIG_GENERIC_IRQ_DEBUGFS，可让IRQ子系统的大部分内部结构都在debugfs中暴露出来。

参考资料《Documentation/translations/zh_CN/core-api/irq/irq-domain.rst》