Самый быстрый питонический способ парсинга словаря, где значения - байты строкового объекта json

1

Поэтому у меня есть словарь, который является хеш-объектом, который я получаю от Redis, подобно следующему словарю:

source_data = {
   b'key-1': b'{"age":33,"gender":"Male"}', 
   b'key-2': b'{"age":20,"gender":"Female"}'
}

Моя цель - извлечь все значения из этого словаря и сделать их в виде списка словарей Python следующим образом:

final_data = [
   {
      'age': 33,
      'gender': 'Male'
   },

   {
      'age': 20,
      'gender': 'Female'
   }
]

Я попытался понять список с помощью json parsing:

import json
final_data = [json.loads(a) for a in source_data.values()]

Он работает, но для большого набора данных требуется слишком много времени.

Я переключился на использование этого стороннего json-модуля ujson, который быстрее соответствует этому эталону, но я не заметил никаких улучшений.

Я попытался использовать многопоточность:

pool = Pool()
final_data = pool.map(ujson.loads, source_data.values(), chunksize=500)

pool.close()
pool.join()

Я немного chunksize с chunksize но результат тот же, все еще занимает слишком много времени.

Было бы очень полезно, если кто-то может предложить другое решение или улучшить предыдущие попытки, было бы идеально, если бы я мог избежать использования цикла.

  • 0
    Может стоит попробовать pypy?
  • 0
    сколько времени это займет и как велик ваш источник данных?
Показать ещё 9 комментариев
Теги:
python-3.x
dictionary
ujson

2 ответа

4
Лучший ответ

Предполагая, что значения действительно являются допустимыми JSON, может быть быстрее построить один объект JSON для декодирования. Я думаю, что безопасно просто вставлять значения в одну строку.

>>> new_json = b'[%s]' % (b','.join(source_data.values(),)
>>> new_json
b'[{"age":33,"gender":"Male"},{"age":20,"gender":"Female"}]'
>>> json.loads(new_json)
[{'age': 33, 'gender': 'Male'}, {'age': 20, 'gender': 'Female'}]

Это заменяет накладные расходы на вызов json.loads 2000+ раз с меньшими накладными расходами на один вызов для b','.join Join и операции с одним строковым форматированием.

  • 0
    Я уже пробовал это, но, как вы видите, значения являются байтовыми строками.
  • 0
    Извините, ленивый и протестированный в Python 2. Обновление должно работать в Python 3.
Показать ещё 3 комментария
1

Для справки я попытался воспроизвести ситуацию:

import json, timeit, random
source_data = { 'key-{}'.format(n).encode('ascii'): 
                '{{"age":{},"gender":"{}"}}'.format(
                    random.randint(18,75), 
                    random.choice(("Male", "Female"))
                 ).encode('ascii') 
               for n in range(45000) }
timeit.timeit("{ k: json.loads(v) for (k,v) in source_data.items() }", 
    number=1, globals={'json': json, 'source_data': source_data})

Это завершено намного меньше секунды. Те, кто старше 30 секунд, должны быть от чего-то, чего я не вижу.

Моя ближайшая догадка заключается в том, что у вас были данные в каком-то прокси-контейнере, где каждая выборка ключа превратилась в удаленный вызов, например, с использованием hscan а не hgetall. Компромисс между ними должен быть возможен с помощью подсказки count hscan.

Правильное профилирование должно выявить, откуда происходят задержки.

Ещё вопросы

Сообщество Overcoder
Наверх
Меню