Как я могу использовать предварительно обученную нейронную сеть с изображениями в градациях серого?

Question

Как я могу использовать предварительно обученную нейронную сеть с изображениями в градациях серого?

1

У меня есть набор данных, содержащий изображения в оттенках серого, и я хочу обучить на них современный CNN. Я очень хотел бы точно настроить предварительно подготовленную модель (например, здесь).

Проблема в том, что почти все модели, на которых я могу найти вес, были обучены набору данных ImageNet, который содержит изображения RGB.

Я не могу использовать одну из этих моделей, потому что их слой ввода ожидает пакетную форму (batch_size, height, width, 3) или (64, 224, 224, 3) в моем случае, но мои партии изображений (64, 224, 224).

Есть ли способ, которым я могу использовать одну из этих моделей? Я подумал о том, чтобы удалить слой ввода после того, как я загрузил весы и добавил свой собственный (как мы делаем для верхних слоев). Правильно ли этот подход?

Jcart 24 авг. 2018, в 03:11

Источник

0

Вы можете попробовать удалить входной слой и добавить свой собственный. Тогда вы можете попытаться тренировать только этот слой. Если вы не увидите, как убыток уменьшается, когда все остальные слои заблокированы, это не сработает для вас.
kevinkayaks 24 авг. 2018, в 00:37
6

Не спрашивайте нас , верен ли этот подход: спросите компьютер! Попробуй! Другой подход состоит в том, чтобы утроить входные векторы: передать значения шкалы серого для всех трех цветовых слоев.
Prune 24 авг. 2018, в 00:37
0

Мое личное ощущение, что это не сработает для вас. Эти классификационные сети определенно используют взаимосвязи между цветами для классификации объектов, и эта информация глубоко укоренилась в весах промежуточных слоев
kevinkayaks 24 авг. 2018, в 00:42
4

@Prune Обучение этим моделям может занять несколько дней, я был бы признателен, если бы кто-нибудь сталкивался с этой проблемой раньше ...
Jcart 24 авг. 2018, в 00:43
0

@Jcart единственная другая опция, которую я вижу (кроме перевода изображения в RGB), это посмотреть, может ли работать более простая сеть (размер определяется вашими учебными ресурсами), учитывая более простые данные. Мое понимание наилучшей практики в настоящее время заключается в том, чтобы очень тщательно определить критерии успеха, попробовать оба пути (или несколько предварительно подготовленных моделей) и посмотреть, как это происходит. Конечно, у вас также есть возможность выйти на новый уровень и создать модель в оттенках серого, которую могут адаптировать будущие пользователи. Удачи!
Josh Rumbut 24 авг. 2018, в 02:09

Показать ещё 3 комментария

Теги:

python

tensorflow

machine-learning

keras

deep-learning

2 ответа

0

почему бы не попытаться преобразовать изображение в оттенках серого в изображение RGB?

tf.image.grayscale_to_rgb(
    images,
    name=None
)

Hu Xixi 13 окт. 2018, в 10:11

Ещё вопросы

Вы можете попробовать удалить входной слой и добавить свой собственный. Тогда вы можете попытаться тренировать только этот слой. Если вы не увидите, как убыток уменьшается, когда все остальные слои заблокированы, это не сработает для вас.
Не спрашивайте нас , верен ли этот подход: спросите компьютер! Попробуй! Другой подход состоит в том, чтобы утроить входные векторы: передать значения шкалы серого для всех трех цветовых слоев.
Мое личное ощущение, что это не сработает для вас. Эти классификационные сети определенно используют взаимосвязи между цветами для классификации объектов, и эта информация глубоко укоренилась в весах промежуточных слоев
@Prune Обучение этим моделям может занять несколько дней, я был бы признателен, если бы кто-нибудь сталкивался с этой проблемой раньше ...
@Jcart единственная другая опция, которую я вижу (кроме перевода изображения в RGB), это посмотреть, может ли работать более простая сеть (размер определяется вашими учебными ресурсами), учитывая более простые данные. Мое понимание наилучшей практики в настоящее время заключается в том, чтобы очень тщательно определить критерии успеха, попробовать оба пути (или несколько предварительно подготовленных моделей) и посмотреть, как это происходит. Конечно, у вас также есть возможность выйти на новый уровень и создать модель в оттенках серого, которую могут адаптировать будущие пользователи. Удачи!

Djib2011 · Accepted Answer · 2018-08-23T23-34-00.000Z

Архитектура модели не может быть изменена, поскольку весы прошли обучение для конкретной конфигурации ввода. Замена первого слоя на свой собственный в значительной степени сделает остальную массу бесполезной.

- Редактирование: разработка, предложенная Prune--
CNN построены так, что по мере их углубления они могут извлекать высокоуровневые функции, полученные из функций нижнего уровня, которые были извлечены предыдущими слоями. Удалив исходные слои CNN, вы уничтожаете эту иерархию функций, потому что последующие слои не получат тех функций, которые они должны использовать в качестве своего ввода. В вашем случае второй слой был обучен ожидать функций первого слоя. Заменяя свой первый слой случайными весами, вы по существу выбрасываете любое обучение, которое было сделано на последующих слоях, поскольку их нужно будет переучивать. Я сомневаюсь, что они могли бы сохранить любые знания, полученные в ходе начальной подготовки.
--- конец редактировать ---

Однако есть простой способ, с помощью которого ваша модель может работать с изображениями в оттенках серого. Вам просто нужно заставить изображение казаться RGB. Самый простой способ сделать это - повторить массив изображений 3 раза в новом измерении. Поскольку у вас будет одинаковое изображение по всем трем каналам, производительность модели должна быть такой же, как на изображениях RGB.

В numpy это можно легко сделать следующим образом:

print(grayscale_batch.shape)  # (64, 224, 224)
rgb_batch = np.repeat(grayscale_batch[..., np.newaxis], 3, -1)
print(rgb_batch.shape)  # (64, 224, 224, 3)

Способ, которым это работает, заключается в том, что он сначала создает новое измерение (для размещения каналов), а затем повторяет существующий массив 3 раза в этом новом измерении.

Я также уверен, что keras ' ImageDataGenerator может загружать изображения в оттенках серого как RGB.

Простое наложение 1-канальных изображений легко, но вопрос не в том, как создать 3-канальное изображение, а в том, может ли он использовать предварительно обученную модель для классификации, когда его исходные изображения 1-канальные, и я думаю, что ответ, вероятно, нет
Это в значительной степени стандартный подход при работе с изображениями в градациях серого. Я сделал это пару раз, и он работает нормально, его установка по умолчанию в ImageDataGenerator в keras для загрузки изображения в градациях серого повторяется 3 раза. Думайте об этом как обратное преобразование RGB -> оттенки серого (где серый = (R + B + G) / 3).
Это показывает, как сделать вторую попытку, которую я предложил; это не отвечает на оригинальный вопрос. Приведет ли это к корректной точной настройке входа серой шкалы?
Первый абзац вашего ответа является прямой частью: можете ли вы уточнить это, чтобы убедить ОП?
Я никогда не пробовал, но я был бы удивлен, если бы эти предварительно обученные классификационные сети могли обойтись без использования цветового контекста. Мне было бы любопытно увидеть разницу в точности тестовых данных imagenet между двумя случаями (1) использовать тестовые данные rgb и (2) использовать 3-канальные тестовые данные, полученные в результате преобразования 3-канальных тестовых данных rgb в 1-канальный серый, а затем суммировать это 3 канала серого цвета, как предложили Джиб и Чернослив. Если вы не получите значительную потерю точности тестовых данных при отбрасывании ОП с информацией о цвете, я бы сказал, что он будет работать без переподготовки.
@Prune Я добавил параграф, объясняющий, почему я думаю, что отбрасывание первого слоя не будет работать. Когда я интерпретировал вопрос, OP хотел в основном узнать, как можно использовать предварительно обученную сеть с изображениями в градациях серого, и я думаю, что наиболее распространенным способом является подача изображения на все 3 канала.
@kevinkayaks Это правда, что CNN не дает равного веса и, вероятно, выиграет от цветового контекста ввода. Решение, которое я предоставил, является наиболее распространенным обходным путем, чтобы заставить обученные RGB CNN работать с наборами данных в градациях серого. Очевидно, что если бы у нас было 3 канала данных, это было бы лучше, чем 1 ...
«Замена первого слоя вашим собственным в значительной степени сделает остальные веса бесполезными». - Вы уверены, что? Эксперимент, чтобы проверить это, состоял бы в том, чтобы обучить нейронную сеть, например, в ImageNet и посмотреть, как долго она «обычно» должна достичь определенной точности. Затем повторно инициализируйте входной слой и посмотрите, сколько времени потребуется, чтобы снова достичь этой точности. Я убежден, что с инициализированной сетью это займет намного меньше времени.
@MartinThoma, особенно если вы заблокируете все слои, кроме того, который вы заменили, чтобы не беспокоиться о уже обученных весах. По крайней мере, для начала, возможно, вам придется позволить им точно настроить новый слой, чтобы получить ту же точность.