keras_15_正则化Regularizers

1. 正则化层

1. 正则化器允许在优化过程中对层的参数或层的激活情况进行惩罚。 网络优化的损失函数也包括这些惩罚项。(但不包括诸如Dropout/人为加Noise这类的正则化)。惩罚是以层为对象进行的。具体的 API 因层而异，但 Dense，Conv1D，Conv2D 和 Conv3D 这些层具有统一的 API。

2. 正则化器开放 3 个关键字参数：keras.regularizers.Regularizer 的3个实例：

   • kernel_regularizer

   • bias_regularizer

   • activity_regularizer

     from keras import regularizers
     model.add(Dense(64, input_dim=64,
                     kernel_regularizer=regularizers.l2(0.01),
                     activity_regularizer=regularizers.l1(0.01)))
     

3. keras中可用的正则

   keras.regularizers.l1(0.)
   keras.regularizers.l2(0.)
   keras.regularizers.l1_l2(l1=0.01, l2=0.01)
   

2. 自定义正则化层

• 任何输入一个权重矩阵、返回一个损失贡献张量的函数，都可以用作正则化器，例如：

  from keras import backend as K
  
  def l1_reg(weight_matrix):
      return 0.01 * K.sum(K.abs(weight_matrix))
  
  model.add(Dense(64, input_dim=64,
                  kernel_regularizer=l1_reg))
  

• 另外，也可以用面向对象的方式来编写正则化器的代码，例子见 keras/regularizers.py 模块。