tf.layers.dense內核初始化函數和正則

Question

的tf.layers.dense函數定義爲：

tf.layers.dense(
    inputs, 
    units, 
    activation=None, 
    use_bias=True, 
    kernel_initializer=None, 
    bias_initializer=tf.zeros_initializer(), 
    kernel_regularizer=None, 
    bias_regularizer=None, 
    activity_regularizer=None, 
    trainable=True, 
    name=None, 
    reuse=None 
) 

有兩個可選參數kernel_initializer和kernel_regularizer。我有兩種不同的正則化和初始化技術，我想對其進行試驗。我並不熱衷於從頭開始實施整個神經網絡。有人可以提供一個爲這兩個參數提供自定義函數的例子嗎？

Answer 1

最好的辦法是檢查張量流中的initializer和regularizer的執行情況。例如，variance_scaling_initializer初始值設定在該代碼中定義：https://github.com/tensorflow/tensorflow/blob/r1.3/tensorflow/contrib/layers/python/layers/initializers.py#L62-L152

據consituted具有以下簽名的initializer功能：

initializer(shape, dtype=dtype, partition_info=None) 

返回一個張量。

正規化器定義在這裏：https://github.com/tensorflow/tensorflow/blob/r1.3/tensorflow/contrib/layers/python/layers/regularizers.py