Psycopg2 - Как включить 'нулевые' значения при вставке словаря списка в таблицу в postgres?

Question

Psycopg2 - Как включить 'нулевые' значения при вставке словаря списка в таблицу в postgres?

1

Я разбираю файлы xml и сохраняю их в словаре списка, где я буду вставлять их в таблицу в posgres, используя psycopg2. Однако не все строки вставлены в таблицы (они только вставляются в самое низкое количество значений в списке). Вот фрагмент словаря списка:

dict_songs = {'title' : ['Need You Now', 'GTFO'...], 'format': ['MP4', 'MP3'...], 'type' : ['Country Pop', 'R&B Pop'..], 'year': [2010,2018..]}

dict_movie = {'title' : ['Searching', 'Sidewalk of New York'...], 'format': ['DVD', 'Blue Ray'...], 'type' : ['Thriller', 'Romcom'..], 'year': [2018..]

Когда я подсчитал длину каждого списка в словаре, выяснилось, что не весь список имеет одинаковую длину, например:

for key, value in dict_songs.items():
    #print value
    print(key, len([item for item in value if item]))

# The result is:
title 300000
format 189700
type 227294
year 227094

Название будет основным ключом в таблице композиций. Когда я вставил этот словарь в postgres, он отображает только 189700 записей, а не 300000. Я хочу, чтобы он был 300000 и помещал Null для значений null (none). То же самое касается dict_movie

Это код, который я использую для вставки списка dict в таблицу:

keys = ['title', 'format', 'type','year']
insert_statement = 'insert into song_table (%s) values %s'
for t in zip(*(dict_songs[key] for key in keys)):
   cur.execute(insert_statement3, (AsIs(','.join(keys)),t))
myConnection.commit()

Любые идеи, почему и как это сделать? Спасибо!

LOR121 21 сен. 2018, в 05:32

Источник

0

Разобранный XML должен быть представлен как словарь списков? Если бы вы могли получить это в виде списка небольших словарей, по одному на каждую запись, то кажется, что обработка пустых значений была бы тривиальной.
Devasta 21 сен. 2018, в 08:26
0

Не совсем, это просто решение, которое у меня было до сих пор. Так было бы лучше иметь список маленьких диктов? Можете ли вы дать мне пример, как это сделать? Спасибо
LOR121 21 сен. 2018, в 12:37

Теги:

python

postgresql

psycopg2

null

insert-into

1 ответ

Ещё вопросы

Разобранный XML должен быть представлен как словарь списков? Если бы вы могли получить это в виде списка небольших словарей, по одному на каждую запись, то кажется, что обработка пустых значений была бы тривиальной.
Не совсем, это просто решение, которое у меня было до сих пор. Так было бы лучше иметь список маленьких диктов? Можете ли вы дать мне пример, как это сделать? Спасибо

Venify · Answer 1 · 2018-09-21T05-17-00.000Z

Я думаю, проблема здесь в том, что вы не знаете, где значения None/NULL. Представьте эти списки:

dict_songs = {
  'title' : ['Need You Now', 'GTFO', 'Titletest']
  'type' : ['Country Pop', 'R&B Pop']
}

Ваша таблица может иметь значения NULL в трех положениях, и в списках нет данных, которые могли бы намекать на правильную:

+ -------------+-------------+-------------+-------------+
| title        | type        | type        | type        |
+--------------+-------------+-------------+-------------+
| Need You Now | Country Pop | Country Pop | NULL        |
| GTFO         | R&B Pop     | NULL        | Country Pop |
| Jinglebells  | NULL        | R&B Pop     | R&B Pop     |
+--------------+-------------+-------------+-------------+

Вы должны иметь значения None, поэтому вы знаете, где положить NULL в таблицу базы данных. Как это:

dict_songs = {
  'title' : ['Need You Now', 'GTFO', 'Titletest']
  'type' : ['Country Pop', None, 'R&B Pop']
}

Так я должен проверять в каждой итерации, если это нулевые значения или нет?
Необходимо убедиться, что вы добавляете значения None при преобразовании данных XML в списки. Списки должны иметь значения None в правильной позиции (я добавил примерный список в мой ответ).
Если список получен при разборе XML-файлов, как включить эти значения None в код?