问题描述
今天在写代码时，运行时奔溃了。segment fault，而且是在程序退出main()函数后，才报的。
唯一的信息是：Segmentation fault (core dumped)
简直是一头雾水。
查看core文件
系统默认是不会生成core文件的，ulimit -c unlimited把core文件设为无限大。
使用gdb查看core文件
gdb ./example/sudoku_batch_test core
提示如下：
Program terminated with signal SIGSEGV, Segmentation fault.
#0 __GI___libc_free (mem=0x313030303030300a) at malloc.c:2951
2951 malloc.c: No such file or directory.
(gdb)
可以确定崩溃发生在malloc.c中。但是提示没有malloc.c的源码。
首先安装glibc的符号表，命令如下：
sudo apt-get install libc6-dbg
再来是安装glibc的源文件，命令如下：
sudo apt-get source libc6-dev
安装完毕后在当前目录下会多出一个glibc-2.23文件夹，该文件夹包含了glibc的源码。
源码准备就绪后，接着上面，在gdb命令提示符下输入：
directory glibc-2.23/malloc/将glibc-2.23/malloc/设为gdb源码搜索目录。结果如下：
warning: core file may not match specified executable file.
[New LWP 24491]
[Thread debugging using libthread_db enabled]
Using host libthread_db library "/lib/x86_64-linux-gnu/libthread_db.so.1".
Core was generated by `./example/sudoku_batch_test ../example/test1000 127.0.0.1 1'.
Program terminated with signal SIGSEGV, Segmentation fault.
#0 __GI___libc_free (mem=0x313030303030300a) at malloc.c:2951
2951 malloc.c: No such file or directory.
(gdb) directory glibc-2.23/malloc/
Source directories searched: /root/work/melon/build/glibc-2.23/malloc:$cdir:$cwd
(gdb)
现在我们就可以在gdb中查看崩溃处的源码了，执行list：
(gdb) l
warning: Source file is more recent than executable.
2946 if (mem == 0) /* free(0) has no effect */
2947 return;
2948
2949 p = mem2chunk (mem);
2950
2951 if (chunk_is_mmapped (p)) /* release mmapped memory. */
2952 {
2953 /* see if the dynamic brk/mmap threshold needs adjusting */
2954 if (!mp_.no_dyn_threshold
2955 && p->size > mp_.mmap_threshold
(gdb)
虽然知道了崩溃发生在2951行，但是貌似没有更多有效的信息。这时我想到了是不是可以看下函数的调用栈，或许会有信息。
接着执行backtrace(或者bt)：
(gdb) bt
#0 __GI___libc_free (mem=0x313030303030300a) at malloc.c:2951
#1 0x000000000048bc9d in melon::Coroutine::~Coroutine (this=0x1fc9120, __in_chrg=<optimized out>)
at /root/work/melon/src/Coroutine.cpp:56
#2 0x000000000048d099 in std::_Sp_counted_ptr<melon::Coroutine*, (__gnu_cxx::_Lock_policy)2>::_M_dispose (
this=0x1fc8190) at /usr/include/c++/5/bits/shared_ptr_base.h:374
#3 0x00000000004630f1 in std::_Sp_counted_base<(__gnu_cxx::_Lock_policy)2>::_M_release (this=0x1fc8190)
at /usr/include/c++/5/bits/shared_ptr_base.h:150
#4 0x0000000000461f32 in std::__shared_count<(__gnu_cxx::_Lock_policy)2>::~__shared_count (this=0x7f07f4ff1770,
__in_chrg=<optimized out>) at /usr/include/c++/5/bits/shared_ptr_base.h:659
#5 0x00000000004749ed in std::__shared_ptr<melon::Coroutine, (__gnu_cxx::_Lock_policy)2>::~__shared_ptr (
this=0x7f07f4ff1768, __in_chrg=<optimized out>) at /usr/include/c++/5/bits/shared_ptr_base.h:925
#6 0x0000000000474a39 in std::shared_ptr<melon::Coroutine>::~shared_ptr (this=0x7f07f4ff1768,
__in_chrg=<optimized out>) at /usr/include/c++/5/bits/shared_ptr.h:93
#7 0x00007f07f40915ff in __GI___call_tls_dtors () at cxa_thread_atexit_impl.c:155
#8 0x00007f07f4090f27 in __run_exit_handlers (status=0, listp=0x7f07f441b5f8 <__exit_funcs>,
run_list_atexit=run_list_atexit@entry=true) at exit.c:40
#9 0x00007f07f4091045 in __GI_exit (status=<optimized out>) at exit.c:104
#10 0x00007f07f4077837 in __libc_start_main (main=0x45f1c4 <main(int, char**)>, argc=4, argv=0x7ffcfb2ab218,
init=<optimized out>, fini=<optimized out>, rtld_fini=<optimized out>, stack_end=0x7ffcfb2ab208)
at ../csu/libc-start.c:325
#11 0x000000000045ec89 in _start ()
这下问题找到了，首先在线程结束或者程序运行结束会调用__GI___call_tls_dtors函数来析构线程本地存储。我确实用了thread_local关键字修饰Coroutine::Ptr变量。
从#1 0x000000000048bc9d in melon::Coroutine::~Coroutine可知在melon::Coroutine类的析构函数中调用了free()导致奔溃。
这下问题基本明确了，我在Coroutine析构函数中会释放stack_这个指针，
53 Coroutine::~Coroutine() {
54 LOG_DEBUG << "destroy coroutine:" << name_;
55 if (stack_) {
56 free(stack_);
57 }
58 }
有两个构造函数，其中一个如下：
39 Coroutine::Coroutine()
40 :c_id_(++t_coroutine_id),
41 name_("Main-" + std::to_string(c_id_)),
42 cb_(nullptr),
43 state_(CoroutineState::INIT) {
44
45 if (getcontext(&context_)) {
46 LOG_ERROR << "getcontext: errno=" << errno
47 << " error string:" << strerror(errno);
58 }
59 }
因为大意犯了个非常低级的错误，这个构造函数没有正确初始化statck_指针，将statck_初始化为nullptr后，问题就解决了。
update：2019-10-31
其实不用这么麻烦，gdb有个where命令，能直接打印出函数栈信息。
总结
遇到这类问题，一般用gdb查看core文件都能定位到崩溃的位置，如果不是直接引发的，可以查看函数调用栈，一般都能找到问题原因。