Explainable AI是什么
我们希望，机器不仅要知道“是什么”还要知道“为什么”，或者说机器不仅要给出答案还要给出explanation。
Explanation可以分为两类：
-
Local Explanation
假定在图片分类任务中有一张图片，要求机器说明为什么它认为这张图片是某个类别(比如“cat”)。
-
Global Explanation
假定在图片分类任务中，要求机器说明它认为一个类别(比如“cat”)是什么样子，而非针对一张图片进行解释。
Explainable AI有什么用
在使用机器挑选简历时，我们需要知道机器为什么选择某份简历(性别?还是实力)。
在使用机器判定罪犯是否可以假释时，我们需要知道机器为什么判定是或否(实证?还是肤色)。
在使用机器判定是否给某人贷款时，我们需要知道机器为什么判定是或否。
通过Explainable AI，我们可以知道模型学到了什么从而进行模型诊断，对模型进行改进和调整。我们不仅只关注模型在数据集上的精确度，还需要进行模型诊断，因为有可能精确度很高但实际上机器什么都没学到。
Explainable AI是否有必要
李宏毅老师认为Explainable AI的目标并非完全理解模型是如何work的，而是为了让人感到comfortable。
因为深度学习是一个黑盒所以有些人认为深度学习不可信，这有些因噎废食。人脑等很多事物对现在的人类来讲都也还是黑盒，完全理解模型的work机理不是必要的，因为某些东西是黑盒就不使用它也不行。
Explainable AI其实就是为了使老板、客户、自己等感到comfortable，甚至对不同人也应该有不同的解释。
Interpretable VS Powerful
决策树既是interpretable又是powerful的，但当分支特别多的时候决策树的表现也会很差，这时可以使用Random Forest或者XGBoost，但它们虽然powerful但不interpretable。
Github（github.com）：@chouxianyu
Github Pages（github.io）：@臭咸鱼
知乎（zhihu.com）：@臭咸鱼
博客园（cnblogs.com）：@臭咸鱼
B站（bilibili.com）：@绝版臭咸鱼
微信公众号：@臭咸鱼
转载请注明出处，欢迎讨论和交流!