Как tf.layers.dense создает матрицу весов input.kernel?

Question

Как tf.layers.dense создает матрицу весов input.kernel?

1

Документ Tensorflow: outputs = activation(inputs.kernel + bias)

В документе указано, что kernel является матрица весов, созданная этим слоем, но я не могу найти реализацию kernel в файле tensorflow/python/layers/core.py. Где я найду реализацию?

----------------------------tl; dr-------------------------------------

Из ответа форма весовой матрицы определяется как shape=[input_shape[-1].value, self.units] Строка 886

Pay C. 01 авг. 2018, в 07:19

Источник

Теги:

python

tensorflow

machine-learning

1 ответ

Ещё вопросы

Patwie · Accepted Answer · 2018-08-01T03-32-00.000Z

Они начали смешивать tf.layers с tf.keras. В указанной вами реализации класс наследует все методы от keras_layers

"Следуя за деньгами", реализация здесь и сводится к

def build(...):
    self.kernel = self.add_variable('kernel', ...
    self.bias = self.add_variable
def call(...):
    # ...
    outputs = gen_math_ops.mat_mul(inputs, self.kernel)
    # ...
    if self.activation is not None:
        return self.activation(outputs)
    return outputs