Python - sklearn.MLPClassifier: Как получить выходные данные первого скрытого слоя

Question

Python - sklearn.MLPClassifier: Как получить выходные данные первого скрытого слоя

1

Я прошел через некоторые глубокие методы обучения и наткнулся на метод, который не использует обратное распространение (https://arxiv.org/abs/1706.02480). Основная идея этого метода состоит в том, чтобы обучить неглубокий скрытый слой, отбросить выходной слой и добавить еще один скрытый слой между обученным (первым) скрытым слоем и новым уровнем вывода. Процесс повторяется (добавление и обучение) до тех пор, пока не будет выполнен некоторый критерий. Я пытаюсь реализовать этот метод, используя классификатор MLP, предоставленный в sklearn. Проблема, с которой я сталкиваюсь, заключается в том, как получить вывод скрытых слоев. Например, если я использую

mlp = MLPClassifier()
mlp.predict(data)

он даст мне выход всей сети. Однако то, что мне нужно, - это суб-выход скрытого уровня сети. Проиллюстрировать:

вход → connection1 (вес) → скрытый слой → connection2 (вес) → вывод (-> предсказание)

То, что я сейчас требую, - это не выходное предсказание, а результат, который выходит из скрытого слоя (между скрытым слоем и соединением 2). Я знаю, что вход для скрытого слоя (между соединением1 и скрытым слоем) можно вычислить

np.matmul(data, mlp.coefs_[0]) + mlp.intercepts_[0]

Есть ли способ получить результаты скрытого слоя?

Cody Chung 15 июнь 2018, в 07:56

Источник

Теги:

python

machine-learning

scikit-learn

1 ответ

Ещё вопросы

coldspeed · Accepted Answer · 2018-06-15T02-35-00.000Z

Вы неправильно поняли, что к чему.

Вход - это то, что вы проходите.

Первый скрытый слой состоит из параметров модели W ₁ и b ₁.

Результатом скрытого слоя является f (W ₁^T x + b ₁), где f - ваша функция активации.

Затем это вход ко второму скрытому слою, который состоит из параметров модели W ₂ и b ₂. И так оно и есть....

Итак, если быть точным

from sklearn.neural_network._base import ACTIVATIONS
ACTIVATIONS['relu'](np.matmul(data, mlp.coefs_[0]) + mlp.intercepts_[0]))

это то, что вы ищете.

Так что, думаю, я все-таки был на полпути. Есть ли способ получить доступ к функции активации, определенной для классификатора sklearn mlp? mlp.activation просто дает строку, которая определена для параметра. Или я должен определить это вручную?
@CodyChung Смотрите документацию . Это ReLU по умолчанию. Вы можете указать любой из {'identity', 'logistic', 'tanh', 'relu'}.
О, как я уже сказал, я знал, как получить доступ к тому, что «определено» как функция активации (это действительно relu), однако мне было интересно, есть ли способ фактически использовать функцию, не определяя ее вручную?
@CodyChung, вы не определяете его вручную, он уже определен в sklearn, вы просто указываете, что хотите использовать. Или я вас неправильно понимаю, потому что не понял вашего вопроса? Если вы спрашиваете, можете ли вы передать свою собственную функцию активации, тогда я не уверен (я не думаю, что вы можете).
Извините, я не смог найти функцию активации в классе классификатора. Это было в модуле ._base.
не должно быть from sklearn.neural_network._base import ACTIVATIONS; ACTIVATIONS['relu'](np.matmul(data, mlp.coefs_[0]) + mlp.intercepts_[0])) ?
@MaxU да, это должно быть! Спасибо чувак
@CodyChung Отредактировано, спасибо :)