调度器16—core_ctl Hello

基于MTK Linux-5.10

一、相关文件接口

1. parameters文件接口

/sys/module/mtk_core_ctl/parameters # ls -l
-rw------- 1 root   root   debug_enable //控制 core_ctl.c 中 core_ctl_debug() 的打印，TAG为"core_ctl"
-rw-rw---- 1 system system policy_enable

(1) debug_enable

默认为false, 控制 core_ctl.c 中 core_ctl_debug() 的打印，TAG为"core_ctl"

(2) policy_enable

默认为false, 从 demand_eval() 来看，若 policy_enable 文件没有使能的话，那么 need_cpus 直接取 cluster->max_cpus，此时cpu核的isolate/ioslate只受用户空间通过core_ctl下面的文件节点和是否boost进行设置了。

2. core_ctl文件接口

/sys/devices/system/cpu/cpu0/core_ctl # ls -l
-rw------- 1 root root core_ctl_boost
-rw------- 1 root root enable
-r-------- 1 root root global_state
-rw-rw-r-- 1 root root max_cpus
-rw-rw-r-- 1 root root min_cpus
-rw------- 1 root root not_preferred
-rw------- 1 root root offline_throttle_ms
-r-------- 1 root root ppm_state //显示一个表
-r-------- 1 root root thermal_up_thres
-rw------- 1 root root up_thres

(1) core_ctl_boost

对应 cluster_data::boost 成员，默认是false，设置为1是对所有cluster进行boost，在 demand_eval() 中判断，若是boot状态的话，need_cpus 直接取 cluster->max_cpus，也就是不再执行实际的isolate动作了，若是有isolate的cpu，需要unisolate。

(2) enable

对应 cluster_data::enable 成员，默认是true，在 demand_eval() 中判断，若是没有enable的话，need_cpus 直接取 cluster->max_cpus，也就是不再执行实际的isolate动作了，若是有isolate的cpu，需要unisolate。

(3) global_state

打印cluster中cpu的Active cpu个数，Need cpu个数，Paused cpu个数，以及cluster内各个cpu的 oneline、pause、busy、prefer 状态，见下面cat的内容。

(4) max_cpus

对应 cluster_data::max_cpus 成员，线程do_core_ctl()中在执行实际isolate/unisolate之前会先执行 apply_limits(cluster, cluster->need_cpus) 将 need_cpus 钳制在 cluster->min_cpus 和 cluster->max_cpus 之间，也就是说默认逻辑会尊重用户空间对cpu核数的限制，用户空间的限制优先级最高，高于 core_ctl_tick() 执行逻辑中预估的核数。但是通过 eas_ioctl 文件设置下来的不在尊重用户空间对cpu的限制了。

(5) min_cpus

对应 cluster_data::min_cpus 成员，各个cluster默认取值default_min_cpus[MAX_CLUSTERS] = {4, 2, 0}。设置后立即唤醒"core_ctl_v2/X"线程执行isolate/unisolate操作。

(6) not_preferred

对应 cluster_data::not_preferred 成员，如果标记了某些CPU是not_preferred，那么在 try_to_pause() 中 isolate CPU的时候就会优先isolate这些not_preferred的CPU，若是not_preferred的CPU都已经isolated了还没达到 active_cpus == need 这个条件，那么就继续isolate没有被标记为not_preferred的CPU。

二、core_ctl设置路径

1. scheduler_tick 周期更新cpu核数需求，触发isolate/unisolate

(1) 调用路径

scheduler_tick //core.c
    core_ctl_tick //core_ctl.c trace_android_vh_scheduler_tick(rq) 将per_cpu的4ms的窗口转化为全局4ms的窗口，每4ms实际调用一次
        if (enable_policy)
            core_ctl_main_algo(); //通过一定算法更新 cluster->new_need_cpus
        apply_demand //core_ctl.c 对每一个cluster都调用
            for_each_cluster(cluster, index)
                apply_demand(cluster) //core_ctl.c
                    if (demand_eval(cluster))
                        wake_up_core_ctl_thread(cluster); //唤醒per-cluster的内核线程"core_ctl_v2/X"
                            try_core_ctl //core_ctl.c per-cluster的内核线程"core_ctl_v2/X"，内核优先级为0的RT线程，平时休眠，有core control需求时唤醒它
                                do_core_ctl

(2) 相关函数

static void __ref do_core_ctl(struct cluster_data *cluster) //core_ctl.c
{
    ...
    //返回将 cluster->need_cpus 钳制在 cluster->min_cpus 和 cluster->max_cpus 之间的值
    need = apply_limits(cluster, cluster->need_cpus);
    //need小于cluster->active_cpus 或 need大于cluster->active_cpus并且cluster->nr_paused_cpus不为0
    if (adjustment_possible(cluster, need)) {
        if (cluster->active_cpus > need)
            try_to_pause(cluster, need);
        else if (cluster->active_cpus < need)
            try_to_resume(cluster, need);
    }
    ...
}            
                        
try_to_pause //core_ctl.c 一直去pause，直到 cluster->active_cpus 等于参数 need，过程中实时更新 cluster->active_cpus 和 cluster->nr_paused_cpus
    sched_pause_cpu //core_pause.c pause一个cpu
        pause_cpus //kernel/cpu.c

try_to_resume //core_ctl.c 一直去resume，直到 cluster->active_cpus 等于参数 need，过程中实时更新 cluster->active_cpus 和 cluster->nr_paused_cpus
    sched_resume_cpu //core_pause.c resume一个cpu
        resume_cpus //kernel/cpu.c


static void try_to_pause(struct cluster_data *cluster, int need)
{
    unsigned long flags;
    unsigned int num_cpus = cluster->num_cpus;
    //检查此cluster中是否有标记not_preferred cpu
    bool check_not_prefer = cluster->nr_not_preferred_cpus;
    bool check_busy = true;

again:
    for (cpu = nr_cpu_ids-1; cpu >= 0; cpu--) {
        struct cpu_data *c;

        success = false;
        if (!cpumask_test_cpu(cpu, &cluster->cpu_mask))
            continue;

        if (!num_cpus--)
            break;

        c = &per_cpu(cpu_state, cpu);
        if (!is_active(c))
            continue;

        //若此cluster中只要有一个cpu的算力使用百分比c->cpu_util_pct 不低于 cluster->cpu_busy_up_thres 就认为是busy
        if (check_busy && c->is_busy)
            continue;

        //per_ioctl强制isolate的cpu
        if (c->force_paused)
            continue;

        //直到active==need才退出pause，否则一直尝试pause
        if (cluster->active_cpus == need)
            break;

        //仅 Pause not_preferred 的 CPU，如果没有 CPU 被选为 not_preferred，则所有 CPU 都符合隔离条件。
        if (check_not_prefer && !c->not_preferred)
            continue;

        //执行isolate cpu 操作
        if (!sched_pause_cpu(c->cpu)) {
            if (cpu_online(c->cpu))
                //记录是由core_ctl isolate 的
                c->paused_by_cc = true;
        }
        cluster->active_cpus = get_active_cpu_count(cluster);
    }

    cluster->nr_paused_cpus += nr_paused;

    if (check_busy || (check_not_prefer && cluster->active_cpus != need)) {
        num_cpus = cluster->num_cpus;
        check_not_prefer = false; //改为false重新试一次
        check_busy = false;
        goto again;
    }
}

sched_pause_cpu --> pause_cpus

//参数为要pause的cpu的mask
int pause_cpus(struct cpumask *cpus) //kernel/cpu.c
{
    ...
    if (cpu_hotplug_disabled) { //需要没有禁止 cpu_hotplug 才能pause
        err = -EBUSY;
        goto err_cpu_maps_update;
    }

    //只能对active的cpu进行pause
    cpumask_and(cpus, cpus, cpu_active_mask);

    for_each_cpu(cpu, cpus) {
        //cpu是offline的，或dl任务带宽不够，是不能pasue的
        if (!cpu_online(cpu) || dl_cpu_busy(cpu) || get_cpu_device(cpu)->offline_disabled == true) {
            err = -EBUSY;
            goto err_cpu_maps_update;
        }
    }

    //不能pause所有的active的cpu
    if (cpumask_weight(cpus) >= num_active_cpus()) {
        err = -EBUSY;
        goto err_cpu_maps_update;
    }

    //将要pause的cpu设置为非active的状态，就是从 cpu_active_mask 中清除掉
    for_each_cpu(cpu, cpus)
        set_cpu_active(cpu, false); //被isolate的cpu不会再出现在 cpu_active_mask 中 ######
    
    //进行pause
    err = __pause_drain_rq(cpus);

    trace_cpuhp_pause(cpus, start_time, 1);

    return err;
}

2. perf_ioctl 中强制core_ctl接口

/proc/perfmgr/eas_ioctl 这里会强制进行core_ctl

static long eas_ioctl_impl(struct file *filp, unsigned int cmd, unsigned long arg, void *pKM) //perf_ioctl.c
{
    struct _CORE_CTL_PACKAGE msgKM = {0};
    ...
    switch (cmd) {
    case CORE_CTL_FORCE_PAUSE_CPU: //这是强制进行核隔离
        if (perfctl_copy_from_user(&msgKM, ubuf, sizeof(struct _CORE_CTL_PACKAGE)))
            return -1;

        bval = !!msgKM.is_pause;
        ret = core_ctl_force_pause_cpu(msgKM.cpu, bval);
        break;
    ...
    }
    ...
}

//is_pause: 1 pause, 0 resume
int core_ctl_force_pause_cpu(unsigned int cpu, bool is_pause)
{
    int ret;
    struct cpu_data *c;
    struct cluster_data *cluster;
    ...

    if (!cpu_online(cpu))
        return -EBUSY;

    c = &per_cpu(cpu_state, cpu);
    cluster = c->cluster;

    //执行实际的pause和resume
    if (is_pause)
        ret = sched_pause_cpu(cpu);
    else
        ret = sched_resume_cpu(cpu);

    //标记是force接口pause的
    c->force_paused = is_pause;
    if (c->paused_by_cc) {
        c->paused_by_cc = false;
        cluster->nr_paused_cpus--;
    }
    cluster->active_cpus = get_active_cpu_count(cluster);

    return ret;
}

若是通过 perf_ioctl 接口强制isolate的CPU，其 cpu_data::force_paused 会设置为1，是直接调用 sched_pause_cpu/sched_resume_cpu进行隔离和取消隔离的。在原路径"core_ctl_v2/X"线程中isolate/unisolate执行流程中会跳过设置了 c->force_paused 标志位的CPU，也就是说force isolate的CPU必须要force接口unisolate!

3. 通过 max_cpus/min_cpus 文件接口设置

通过设置 /sys/devices/system/cpu/cpuX/core_ctl 下的 max_cpus、min_cpus 文件接口进行设置，

static void set_min_cpus(struct cluster_data *cluster, unsigned int val)
{
    ...
    cluster->min_cpus = min(val, cluster->max_cpus);
    ...
    //唤醒"core_ctl_v2/X"线程
    wake_up_core_ctl_thread(cluster);
}

static void set_max_cpus(struct cluster_data *cluster, unsigned int val) //core_ctl.c
{
    ...
    val = min(val, cluster->num_cpus);
    cluster->max_cpus = val;
    //这样的效果就是想限核只需要往 max_cpus 一个文件中echo一个值就可以了
    cluster->min_cpus = min(cluster->min_cpus, cluster->max_cpus);
    ...
    //唤醒"core_ctl_v2/X"线程
    wake_up_core_ctl_thread(cluster);
}

/sys/devices/system/cpu/cpu0/core_ctl # cat min_cpus
4
/sys/devices/system/cpu/cpu0/core_ctl # echo 1 > max_cpus
/sys/devices/system/cpu/cpu0/core_ctl # cat max_cpus
1
/sys/devices/system/cpu/cpu0/core_ctl # cat min_cpus
1

总结：core_ctl_tick 和 max_cpus/min_cpus 设置路径都是通过唤醒优先级为0的RT线程"core_ctl_v2/X"来执行核隔离和取消隔离的，只不过前者更新核需求 new_need_cpus 参数，后者是增加核数限制。force路径是直接调用pause接口进行隔离和取消隔离，而且其操作过的cpu不受"core_ctl_v2/X"线程的影响。resume_cpus 是相反操作。

三、调试log

1. 相关trace

(1) trace_core_ctl_demand_eval

//调用传参：
demand_eval
    trace_core_ctl_demand_eval(cluster->cluster_id, old_need, new_need, cluster->active_cpus,
        cluster->min_cpus, cluster->max_cpus, cluster->boost, cluster->enable, ret && need_flag);

//trace打印：
        <idle>-0       [006] d.h3  2007.792026: core_ctl_demand_eval: cid=0, old=2, new=4, act=2 min=0 max=4 bst=0 enbl=1 update=1
core_ctl_v2/0-463      [006] d.h3  2007.796037: core_ctl_demand_eval: cid=0, old=4, new=4, act=3 min=0 max=4 bst=0 enbl=1 update=1

打印依次为传入的参数，只有 update=1 才会唤醒core_ctl线程，执行进一步isolate/unisolate操作。

(2) trace_core_ctl_algo_info

//调用传参：
core_ctl_main_algo
    trace_core_ctl_algo_info(big_cpu_ts, heaviest_thres, max_util, cpumask_bits(cpu_active_mask)[0], orig_need_cpu);

//trace打印：
sh-18178   [004] d.h2 18903.565478: core_ctl_algo_info: big_cpu_ts=67692 heaviest_thres=770 max_util=786 active_cpus=f1 orig_need_cpus=4|9|6

big_cpu_ts: 是大核cpu7的温度，67.692度
heaviest_thres: 作为判断是否需要开启大核的util门限，当温度低于65度时是中核 up_thres/100 * max_capacity, 高于65度时是 thermal_up_thres/100 * max_capacity
max_util：记录的是所有cpu上最大task的util，在每8ms执行一次的 sched_max_util_task_tracking() 中更新。
active_cpus：打印的是 cpu_active_mask，通过它可以看哪些cpu被隔离了或被设置为offline了，实测被isolate或offline都会体现到 cpu_active_mask 上。
orig_need_cpus：是个数组，依次打印各个cluster的 cluster->new_need_cpus 成员，就是评估出来的各个cluster需要的cpu核心的个数。

注：可以看到MTK的 new_need_cpus 的评估算法明显不行，飞行熄屏场景下竟然评估出各个cluster需要 4|9|6 个核。

(3) trace_core_ctl_update_nr_over_thres

//调用传参：
scheduler_tick //core.c
    core_ctl_tick //core_ctl.c
        core_ctl_main_algo
            get_nr_running_big_task
                trace_core_ctl_update_nr_over_thres(nr_up, nr_down, max_nr)

//trace打印：
sh-18174   [006] dNh2 23927.901480: core_ctl_update_nr_over_thres: nr_up=1|0|0 nr_down=0|5|0 max_nr=2|4|4

分别打印的是每个cluster的 cluster_data 中的 nr_up, nr_down, max_nr，在 core_ctl_main_algo() 中评估 cluster->new_need_cpus 时使用。

由 "dNh2" 可知，此函数是在硬中断上下文中关中断执行的，此时抢占计数为2。

2. 开启 debug log

若是出问题了可以 echo 1 > /sys/module/mtk_core_ctl/parameters/debug_enable 打开调试log，看代码执行流程。

3. 总结：缺失是否 force_paused 的debug log。

四、CPU online/offline流程

执行：echo 0/1 > /sys/devices/system/cpu/cpuX/online

相关函数

struct bus_type cpu_subsys = { //driver/base/cpu.c
    .name = "cpu",
    .dev_name = "cpu",
    .match = cpu_subsys_match,
#ifdef CONFIG_HOTPLUG_CPU
    .online = cpu_subsys_online,
    .offline = cpu_subsys_offline,
#endif
};

static ssize_t online_store(struct device *dev, struct device_attribute *attr, const char *buf, size_t count) //driver/base/core.c
{
    ...
    ret = strtobool(buf, &val);
    ret = val ? device_online(dev) : device_offline(dev); 
    ...
}

调用路径：

device_online
    dev->bus->online(dev) //也就是 cpu_subsys.online
        cpu_device_up(dev)
            cpu_up(dev->id, CPUHP_ONLINE) 
    kobject_uevent(&dev->kobj, KOBJ_ONLINE);
    dev->offline = false;

device_offline
    dev->bus->offline(dev); //也就是 cpu_subsys.offline
        cpu_device_down(dev);
            cpu_down(dev->id, CPUHP_OFFLINE)
    kobject_uevent(&dev->kobj, KOBJ_OFFLINE);
    dev->offline = true;

struct device 结构中只有 offline 成员，没有 online 成员。offline 调用路径中会去判断不会 offline 唯一 active 的 cpu，实测 offline cpu 会设置cpu_active_mask，但是追踪代码，暂时还没有看到哪里设置的。