Используя модуль Python Glom, извлекайте нерегулярные вложенные списки в единый список словарей

Question

Используя модуль Python Glom, извлекайте нерегулярные вложенные списки в единый список словарей

1

Glom облегчает доступ к сложным вложенным структурам данных. https://github.com/mahmoud/glom

Учитывая следующую игрушку структуры данных:

target = [
            {
                'user_id': 198,
                'id': 504508,
                'first_name': 'John',
                'last_name': 'Doe',
                'active': True,
                'email_address': '[email protected]',
                'new_orders': False,
                'addresses': [
                    {
                        'location': 'home',
                        'address': 300,
                        'street': 'Fulton Rd.'
                    }
                ]
            },
            {
                'user_id': 209,
                'id': 504508,
                'first_name': 'Jane',
                'last_name': 'Doe',
                'active': True,
                'email_address': '[email protected]',
                'new_orders': True,
                'addresses': [
                    {
                        'location': 'home',
                        'address': 251,
                        'street': 'Maverick Dr.'
                    },
                    {
                        'location': 'work',
                        'address': 4532,
                        'street':  'Fulton Cir.'
                    },
                ]
            },
        ]

Я пытаюсь извлечь все адресные поля в структуре данных в плоский список словарей.

from glom import glom as glom
from glom import Coalesce
import pprint

"""
Purpose: Test the use of Glom
"""    

# Create Glomspec
spec = [{'address': ('addresses', 'address') }]

# Glom the data
result = glom(target, spec)

# Display
pprint.pprint(result)

Вышеуказанная спецификация обеспечивает:

[
    {'address': [300]},
    {'address': [251]}
]

Желаемый результат:

[
    {'address':300},
    {'address':251},
    {'address':4532}
]

Какой Glomspec даст желаемый результат?

Liquidgenius 01 нояб. 2018, в 21:53

Источник

1

Я не знаю насчет glom , но похоже, что вам нужно только одно понимание списка: [{'address': x['address']} for X in target for x in X['addresses']]
cs95 01 нояб. 2018, в 20:10
0

@coldspeed Я знаком со списками и да, это сработало бы, однако эта структура игрушек значительно упрощена, чтобы проиллюстрировать проблему, возникающую у меня с модулем Glom. Glom, кажется, имеет преимущества при работе с очень сложными структурами по сравнению со списком. Я ищу какие-либо сведения о Гломе. Однако, спасибо!
Liquidgenius 01 нояб. 2018, в 20:15

Теги:

python

data-structures

nested

python-module

1 ответ

Ещё вопросы

Я не знаю насчет glom , но похоже, что вам нужно только одно понимание списка: [{'address': x['address']} for X in target for x in X['addresses']]
@coldspeed Я знаком со списками и да, это сработало бы, однако эта структура игрушек значительно упрощена, чтобы проиллюстрировать проблему, возникающую у меня с модулем Glom. Glom, кажется, имеет преимущества при работе с очень сложными структурами по сравнению со списком. Я ищу какие-либо сведения о Гломе. Однако, спасибо!

Mahmoud Hashemi · Accepted Answer · 2019-01-11T06-06-00.000Z

Начиная с glom 19.1.0 вы можете использовать спецификацию Flatten() для краткого получения желаемых результатов:

from glom import glom, Flatten

glom(target,  (['addresses'], Flatten(),  [{'address': 'address'}]))
# [{'address': 300}, {'address': 251}, {'address': 4532}]

И это все, что нужно сделать!

Вы также можете проверить удобную функцию flatten(), а также мощную спецификацию Fold(), для всех ваших потребностей выравнивания :)

До 19.1.0 у glom не было первоклассных возможностей сглаживания или уменьшения (как в картографическом уменьшении). Но одним из обходных путей было бы использование встроенной в Python функции sum() для выравнивания адресов:

>>> from glom import glom, T, Call  # pre-19.1.0 solution
>>> glom(target,  ([('addresses', [T])], Call(sum, args=(T, [])),  [{'address': 'address'}]))
[{'address': 300}, {'address': 251}, {'address': 4532}]

Три шага:

Пройдите по спискам, как вы сделали.
Вызовите сумму в полученном списке, сгладив/уменьшив его.
Отфильтруйте элементы в результирующем списке, чтобы они содержали только ключ 'address'.

Обратите внимание на использование T, которое представляет текущую цель, вроде как курсор.

В любом случае, нет необходимости делать это больше, отчасти из-за этого ответа. Итак, спасибо за отличный вопрос!

Спасибо, Махмуд! Задержитесь при утверждении ответа, чтобы увидеть, что происходит с Sum () и Reduce ()!
@Liquidgenius обновлен, чтобы использовать самую последнюю версию glom! :)
Потрясающе добавить в модуль! Спасибо за всю работу над этим!
Не могли бы вы добавить пример, где вы захватываете список словарей, которые также включают их соответствующие user_ids? Т.е.: [{«user_id»: 198, «address»: 300}, ...]
@Liquidgenius, поэтому такие относительные поиски - это область, над которой мы работаем, но вы можете сделать это, назначив область видимости glom, используя S и Assign() : glom(target, ([(Assign(S['user_id'], Spec(T['user_id'])), 'addresses', [{'address': 'address', 'user_id': S['user_id']}]) ], Flatten())) и вуаля, мы получаем: [{'address': 300, 'user_id': 198}, {'address': 251, 'user_id': 209}, {'address': 4532, 'user_id': 209}] Мы проигрываем удобочитаемость, но это сработает, если вам просто нужно решение с чистым блеском :)
Это обеспечивает хороший вариант использования для нормализации вложенных структур данных. Еще раз спасибо!