Поэтому у меня есть словарь, который является хеш-объектом, который я получаю от Redis, подобно следующему словарю:
source_data = {
b'key-1': b'{"age":33,"gender":"Male"}',
b'key-2': b'{"age":20,"gender":"Female"}'
}
Моя цель - извлечь все значения из этого словаря и сделать их в виде списка словарей Python следующим образом:
final_data = [
{
'age': 33,
'gender': 'Male'
},
{
'age': 20,
'gender': 'Female'
}
]
Я попытался понять список с помощью json parsing:
import json
final_data = [json.loads(a) for a in source_data.values()]
Он работает, но для большого набора данных требуется слишком много времени.
Я переключился на использование этого стороннего json-модуля ujson, который быстрее соответствует этому эталону, но я не заметил никаких улучшений.
Я попытался использовать многопоточность:
pool = Pool()
final_data = pool.map(ujson.loads, source_data.values(), chunksize=500)
pool.close()
pool.join()
Я немного chunksize
с chunksize
но результат тот же, все еще занимает слишком много времени.
Было бы очень полезно, если кто-то может предложить другое решение или улучшить предыдущие попытки, было бы идеально, если бы я мог избежать использования цикла.
Предполагая, что значения действительно являются допустимыми JSON, может быть быстрее построить один объект JSON для декодирования. Я думаю, что безопасно просто вставлять значения в одну строку.
>>> new_json = b'[%s]' % (b','.join(source_data.values(),)
>>> new_json
b'[{"age":33,"gender":"Male"},{"age":20,"gender":"Female"}]'
>>> json.loads(new_json)
[{'age': 33, 'gender': 'Male'}, {'age': 20, 'gender': 'Female'}]
Это заменяет накладные расходы на вызов json.loads
2000+ раз с меньшими накладными расходами на один вызов для b','.join
Join и операции с одним строковым форматированием.
Для справки я попытался воспроизвести ситуацию:
import json, timeit, random
source_data = { 'key-{}'.format(n).encode('ascii'):
'{{"age":{},"gender":"{}"}}'.format(
random.randint(18,75),
random.choice(("Male", "Female"))
).encode('ascii')
for n in range(45000) }
timeit.timeit("{ k: json.loads(v) for (k,v) in source_data.items() }",
number=1, globals={'json': json, 'source_data': source_data})
Это завершено намного меньше секунды. Те, кто старше 30 секунд, должны быть от чего-то, чего я не вижу.
Моя ближайшая догадка заключается в том, что у вас были данные в каком-то прокси-контейнере, где каждая выборка ключа превратилась в удаленный вызов, например, с использованием hscan
а не hgetall
. Компромисс между ними должен быть возможен с помощью подсказки count
hscan
.
Правильное профилирование должно выявить, откуда происходят задержки.