Сопоставить значения с тензором TensorFlow в кодировке PNG

Question

Сопоставить значения с тензором TensorFlow в кодировке PNG

1

Я работаю над созданием загрузчика данных, подобным: https://github.com/tensorflow/models/blob/master/research/deeplab/datasets/build_cityscapes_data.py

В этом скрипте считывается семантическая карта ярлыков, содержащая метки uint8, закодированные как изображение PNG в градациях серого, и затем сериализуется в файл tfrecord:

seg_data = tf.gfile.FastGFile(label_file, 'rb').read()

Теперь я хочу сопоставить новую схему маркировки в соответствии со словарем:

old_to_new = {"1": 30, "2": 50, "255": 15}

Если бы у меня был массив numpy, я мог бы сделать что-то вроде:

seg_data_converted = seg_data.copy()
for old_label in old_to_new:
    seg_data_converted[seg_data==old_label] = old_to_new[old_label]

или использовать более эффективные функции для сопоставления значений. К сожалению, вывод tf.gfile.FastGFile().read(n=-1) возвращает

'n' байтов файла (или целого файла), запрошенных как строка

как описано в: https://www.tensorflow.org/versions/r1.0/api_docs/python/tf/gfile/FastGFile

Как я могу сопоставить новые значения с тензором и перекодировать тензор, чтобы вернуться к представлению, аналогичному представлению tf.gfile.FastGFile().read()?

Первый подход (неполный!):

Декодирование с использованием: tf.image.decode_png()
Значения карты: tf.map_fn()
Повторно tf.image.encode_png() используя: tf.image.encode_png()

LL_ 24 сен. 2018, в 18:11

Источник

Теги:

python

tensorflow

1 ответ

Ещё вопросы

jdehesa · Accepted Answer · 2018-09-24T15-52-00.000Z

Я думаю, что это делает то, что вам нужно:

import tensorflow as tf

old_to_new = {"1": 30, "2": 50, "255": 15}
test_img_data = (b'\x89PNG\r\n\x1a\n\x00\x00\x00\rIHDR\x00\x00\x00\x06\x00\x00'
                 b'\x00\x06\x08\x02\x00\x00\x00o\xaex\x1f\x00\x00\x00\x01sRGB'
                 b'\x00\xae\xce\x1c\xe9\x00\x00\x00\x04gAMA\x00\x00\xb1\x8f'
                 b'\x0b\xfca\x05\x00\x00\x00\tpHYs\x00\x00\x0e\xc3\x00\x00\x0e'
                 b'\xc3\x01\xc7o\xa8d\x00\x00\x006IDAT\x18Wc\x04\x02\x06\x18'
                 b'\xf8\xf7\xef\x1f\x90d\x82p\x90\x01B\xc8\xcb\xcb\xcb\xc7\xc7'
                 b'\x07\xc8'\x02\xe9\x04\x03\x88\x04\x10021!\x14\xfe\xfd\xfb'
                 b'\x17Hb\x98\xc5\xc0\x00\x00\xe7i\x07\xd0\x19\xd3\x16\xa3'
                 b'\x00\x00\x00\x00IEND\xaeB'\x82')

# Input
image_data = tf.placeholder(tf.string, ())
# Decode
dtype = tf.uint8
png = tf.image.decode_png(image_data, channels=1, dtype=dtype)
# Mappings as vectors
old = tf.constant([int(k) for k in old_to_new.keys()], dtype=dtype)
new = tf.constant(list(old_to_new.values()), dtype=dtype)
# Compare matching values
mask = tf.equal(png, old)
# Mask to leave unmatched values untouched
mask_none = tf.reduce_all(~mask, axis=-1, keepdims=True)
# Compute result
replacements = new * tf.cast(mask, dtype)
png_new = png * tf.cast(mask_none, dtype) + tf.reduce_sum(replacements, axis=-1, keepdims=True)
# Encode
image_new_data = tf.image.encode_png(png_new)
# Test
with tf.Session() as sess:
    png_val, png_new_val = sess.run((png, png_new), feed_dict={image_data: test_img_data})
    print('Old PNG:')
    print(png_val[..., 0])
    print('New PNG:')
    print(png_new_val[..., 0])

Выход:

Old PNG:
[[  1   1   1   1 255 255]
 [  1   1   1   1 255 255]
 [  1   1   1  75  75 255]
 [  2   2   2  75  75 255]
 [  2   2   2   2 255 255]
 [  2   2   2   2 255 255]]
New PNG:
[[30 30 30 30 15 15]
 [30 30 30 30 15 15]
 [30 30 30 75 75 15]
 [50 50 50 75 75 15]
 [50 50 50 50 15 15]
 [50 50 50 50 15 15]]

Для справки, вот тестовое изображение (PNG в test_img_data):

И результат (PNG, созданный image_new_data когда test_img_data указан как вход):

Они маленькие, чтобы сохранить пример маленьким, но вы можете масштабировать и проверять значения с помощью редактора изображений.

Спасибо за очень подробное описание решения этой проблемы! Я протестировал предложенный отсканированный код и могу подтвердить, что он работает как задумано. Я приму ваш ответ.