Code Tips: 线程读写锁自旋导致的死循环

发现问题   

    项目测试的时候，发现运行一段时间后会出现cpu百分之百的情况。

    想着可能是哪里出现了死循环，于是打算用gdb跟一下，结果gdb居然无法attach到进程。

定位问题

    查了查去，原来有一个优先级为RT的实时线程出现了死循环，并且由于配置了CPU的亲和属性，使得进程只运行在第一个核上，此时gdb就无法attach了

    使用taskset现场修改进程的cpu亲和属性后，发现这个占cpu百分百的实时线程并没有出现一般的死循环，而是每次都在pthread_rwlock_wrlock这个函数中，

    而更诡异的是，只要修改了cpu亲和属性，就没有“死循环了”。

实验

    于是写了一段实验代码

#define _GNU_SOURCE
#include "stdio.h"
#include "stdlib.h"
#include "unistd.h"
#include "pthread.h"
#include <sched.h>

pthread_rwlock_t rwlock;

void* task1(void *arg)
{
    pthread_setname_np(pthread_self(), "task1");

    while(1)
    {   
        printf("
 task1 lock 
");
        pthread_rwlock_wrlock(&rwlock);

        printf("
 task1 unlock 
");
        pthread_rwlock_unlock(&rwlock);

        usleep(100);
    }   
}

void* task2(void *arg)
{
    struct sched_param sparam;

    pthread_setname_np(pthread_self(), "task2");

    /* 设置为最高优先级的实时任务 */
    sparam.sched_priority = sched_get_priority_max(SCHED_RR);
    pthread_setschedparam(pthread_self(), SCHED_RR, &sparam);

    while(1)
    {   
        printf("
 task2 lock 
");
        pthread_rwlock_wrlock(&rwlock);

        printf("
 task2 unlock 
");
        pthread_rwlock_unlock(&rwlock);

        usleep(100);
    }   
}

int main(int argc, char *argv[])
{
    pthread_t t1, t2, t3; 
    cpu_set_t cpuset;

    /* 设置cpu亲和属性，将进程绑定在第一个核上 */
    CPU_ZERO(&cpuset);
    CPU_SET(0, &cpuset);
    sched_setaffinity(0, sizeof(cpuset), &cpuset);

    pthread_rwlock_init(&rwlock, NULL);

    pthread_create(&t2, NULL, task1, NULL);
    sleep(3);
    pthread_create(&t3, NULL, task2, NULL);

    while (1)
        sleep(10);

    return 0;
}

运行结果，如下图

真的出现了CPU百分百的情况！！！

分析原因

1. 读写锁的“拿锁”和“放锁”操作并不是一个完整的原子操作，而是有可能操作到一半被调度出去；

2. 此次实验结果显示，task1（非实时）在做unlock操作时，已经修改了一部分读写锁的属性，此时task2（实时）lock时，发现不需要再阻塞了，只需要自旋等待（死循环）task1将unlock操作做完；然而由于task2是实时任务，整个进程又只绑定到了第一个核上，task1无法得到调度，造成了task2的死循环。