-
以一种可理解的方式重新审视分类问题：
1） 开放集推理（Open Set Inference，简称OSI）
2） 持续学习（Continual Learning，简称CL）
3） 显式记忆（Explicit Memory，简称EM) -
含义诠释
EM: 神经网络本身是具备记忆功能的，但是这种记忆是不可解释的，是一种隐式的记忆，没有具体的表征，只是内嵌于神经网络的结构和参数中，而且是全局分散的，不可描述其分布的。
我们需要找到一种显式记忆，它有具体的表征形式，其存储位置是可预知的，它并不是全局分散的，而是局部存储的，它应当是可解释的。
在我们现有的体系中对抗神经网络GAN是最纯粹的记忆网络，这意味记忆不单单是认知，更重要的是具象的能力，或者通俗点叫做“想象”的能力。但是GAN训练需要小心翼翼，
因为训练很容易发生模式崩塌mode collapse，而且GAN的记忆也是不可理解的隐式记忆。
Flow-based模型也成可逆流模型，能够直接将任意样本空间映射成多元高斯分布，但往往具象能力不佳，比GAN要差些，这有可能是因为该模型采用了非常精心设计的受限模块，
限制了神经网络的流形映射能力。
其余模型比如自编码器、变分自编码器，都还没有任何较为成功的生成模型。不予置评。
OSI: 人类的推理训练是很小的闭集，但人类却可以在不限的开集上进行推断、预测。这种能力是生存的根本，同时也引出了“陌生”和“好奇心”，人类可以很敏锐的区分出陌生和熟悉的对象。
对熟悉的对象，可以给出较为有把握的推理和预测，对陌生的对象会产生恐惧感、好奇心，以及探索的动力。 而人工神经网络在这方面的探索还很少，目前开放集推理的论文，比如在CVPR2020中，
只有一篇论文入选。历史上总共也才提出了5个模型，全都是基于本文上述提及的记忆来实现的，也就是尝试各种生成器，一开始是自编码器AE，然后是可逆流模型Flow-based model，
最后是现在CVPR2020入选的基于GAN生成器，都是对输入唤醒记忆程度的模拟，但是记忆因为是不可表征的，因此也是不可度量模式与记忆之间距离的。
目前复杂背景下目标的识别效率和准确率还是很差。
CL: 人类可以持续学习而不发生严重的遗忘，这是现今神经网络还做不到的，现今的神经网络都是静态架构的（Neural Gas虽然能增长，但仅能做简单的结构学习），无法做到神经结构上的增长。
另一方面，即便有参数冗余，也会出现记忆的严重覆盖，学一门忘一门，这就是隐式记忆的弊端所在。而如果实现了显式记忆EM，就可以通过类似于数据存取的方式操作记忆，
实现可控可增长的持续学习。惊人相似的是，持续学习的论文也很少，在CVPR2020中只有一篇。而同样的，EM解决了OSI问题后，可以利用OSI解决持续学习的问题。
上一篇博客对此有过讨论，此处不再赘述。
EM->OSI->CL, 因此解决EM是核心中的核心。 -
我提出的解决方法
以一种可理解的方式构建认知过程（建构主义）。
首先需要对传统理解上的分类（认知）任务进行一个概念纠正，我对此做了可视化，如图：
上图即为传统意义上的分类任务，它的目标是在映射后的流形空间中寻找到一个判别面，用于分隔两个类别的样本，实现类间距最大。但是该方法忽略了类内距最小的原则。
而且，最致命的是，该理解方法完全忽略了未知样本的存在，也就是在真实环境中，样本可能是神经网络从未见过的类别，然而该分类器依然会给出一个类别预测，
这显然是错误的。因此，按照上图的理解方式诠释分类任务是行不通的，需要考虑到补集！但是补集是开集，其域上样本的分布时没有边界的，
这将导致无法通过常规的基于闭集上的机器学习的方法来区分未知类。唯一寄托是闭集上的训练的模型应当具备某种自描述能力，也即在模型对输入的感知或者响应。
分类的本质应当是抽象出一个类别的概念，并将这个概念形式化成为可以表征的记忆，然后对任意输入的样本都能计算该样本到该概念或该记忆的距离，
度量的结果指示样本隶属于该类别的程度，如下图所示，两个类别各自形成概念，并产生一个中心（暂且假设为高斯分布的均值），样本在该空间内与中心的距离决定类别。
这种分类是模糊的分类，天然带有概率意义。（参考模糊分类）
这种分类的理解可以实现对现实世界中任意样本的推理预测，即便这些样本是模型从未见过的类别。对于这种样本，根据统计学方法，可以判定样本的熟悉度。
这种分类方法可以直接得到任意样本在每个已知类别上的真实采样概率（或生成概率，一般用(pi)表示该采样概率/分布密度函数），这是它最重要的能力。
其次，我提出了一种显示记忆表征的学习方式，其既能抽象出概念的表征，同时还易于度量任意样本到概念中心的距离。
再次，我提出了一种新的神经网络训练方式，在潜变量空间中高效训练受限自编码器（RAE in latent space），且不必采用有缺陷的归一化方法（如批处理归一化BN）。
最后，我提出了一种新的替代GAN的样本生成方法，其本质基于受限自编码器(RAE)，可条件式的生成指定类别的样本，多样性将匹敌GAN（都只关注分布距离下限），
但本方法所提出的模型的训练过程是非常稳定的高效的，不会产生模式崩塌(mode collapse)。
具体实现方式参考下图：
