Как Keras оптимизирует вес на слоях, которые не активированы?

Фон:

Если я не ошибаюсь, когда мы тренируемся в сети, мы корнем вперед, выполняя сигмоид (сумма (W * x)) для каждого слоя, а затем при обратном распространении вычисляем ошибку и дельта (изменение), тогда мы вычисляем градиенты и обновляем веса,

Допустим, у нас нет активации на одном из слоев, как керам рассчитать градиент? он просто принимает значение sum(W*x)*next_layer_delta*weights чтобы получить дельта для текущего слоя и использовать это для вычисления градиентов?

Код:

У меня есть этот код, который я написал для создания модели word2vec (skip-gram):

model = Sequential()
model.add(Dense(2, input_dim=len(tokens_enc)))#what does it mean for it not to have an activation here? This makes it linear because there is no non-linear function such as tanh!
model.add(Dense(len(tokens_enc), activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])
# Fit the model
model.fit(X, y, epochs=20000)

Вход и выход - 1 горячий вектор.

Вопрос: Как кера оптимизирует вес в этом сценарии и каковы последствия отсутствия функции активации в скрытом слое?