Рассол Python не один-к-одному: разные соленья дают один и тот же объект

Question

Рассол Python не один-к-одному: разные соленья дают один и тот же объект

1

Может кто-нибудь объяснить это?

pickle.loads(b'\x80\x03X\x01\x00\x00\x00.q\x00h\x00\x86q\x01.') == pickle.loads(b'\x80\x03X\x01\x00\x00\x00.q\x00X\x01\x00\x00\x00.q\x01\x86q\x02.')
>>>True

pickle.loads(b'\x80\x03X\x01\x00\x00\x00.q\x00h\x00\x86q\x01.')
>>>('.', '.')
pickle.loads(b'\x80\x03X\x01\x00\x00\x00.q\x00X\x01\x00\x00\x00.q\x01\x86q\x02.')
>>>('.', '.')

Кажется, что длинная и короткая маринованная версия кортежей с одним и тем же элементом неоднократно.

Другие примеры:

pickle.loads(b'\x80\x03X\x01\x00\x00\x00#q\x00X\x01\x00\x00\x00#q\x01\x86q\x02.')
>>>('#', '#')
pickle.loads(b'\x80\x03X\x01\x00\x00\x00#q\x00h\x00\x86q\x01.')
>>>('#', '#')

pickle.loads(b'\x80\x03X\x01\x00\x00\x00$q\x00X\x01\x00\x00\x00$q\x01\x86q\x02.')
>>>('$', '$')
pickle.loads(b'\x80\x03X\x01\x00\x00\x00$q\x00h\x00\x86q\x01.')
>>>('$', '$')

Я пытаюсь индексировать предметы по их маринуру, но я не нахожу предметы, потому что их соленые огурцы, похоже, меняются.

Я использую Python 3.3.2 на Ubuntu.

mtanti 22 янв. 2014, в 01:20

Источник

0

Обратите внимание на pickle.dumps('.', 3) == b'\x80\x03X\x01\x00\x00\x00.q\x00.' и последовательность X\x01\x00\x00\x00. встречается дважды в более длинном маринованном варианте ('.','.') и только один раз в коротком. Поэтому, хотя я не читаю формат Pickle, я думаю, что у вас есть один файл Pickle, который указывает на кортеж, содержащий одну и ту же строку дважды, и другой, который указывает на кортеж, содержащий две строки, которые оказались равными. Использование коротких строк в реализации Python может стереть эту разницу во время распечатывания, но даже если они не выглядят одинаково при печати и равны.
Steve Jessop 22 янв. 2014, в 00:39
1

Рассмотрим широко эквивалентный вопрос, который кто-то может задать: «Я индексирую объекты по их представлению JSON, но [1, 1] и [ 1, 1 ] - это разные представления JSON одного и того же объекта». JSON - довольно простой формат, и канонизировать его довольно просто: сделайте пробел регулярным, закажите ключи в словарях, вот и все. Форматы pickle менее просты, и для типов в целом вам будет сложно определить и ввести одинаковые значения. Вы можете использовать набор для хранения канонической версии всего, что можно хэшировать, но не все, что можно рассортировать, можно хэшировать.
Steve Jessop 22 янв. 2014, в 00:47
0

@SteveJessop Так как же хранить и искать произвольные данные в базе данных? Я сохраняю данные как засоленные, а затем перехожу поисковый запрос перед поиском.
mtanti 22 янв. 2014, в 05:33
0

Вы не Определение «равно» для двух значений в базе данных должно совпадать с тем, что база данных может считать равной. Таким образом, вы храните и ищете структурированные данные в базе данных. Если вы не можете найти способ структурировать свои данные, тогда у вас есть довольно сложная проблема, которая в некоторых случаях не может быть решена, кроме как путем перемещения логики из базы данных.
Steve Jessop 22 янв. 2014, в 08:36
0

Я только заметил, что на полке в качестве ключей можно использовать только струны. Это многое объясняет. Тем не менее, я думаю, что глупо не делать канонические соленья, они были бы более полезными.
mtanti 22 янв. 2014, в 14:33

Показать ещё 3 комментария

Теги:

python

serialization

pickle

1 ответ

Ещё вопросы

Обратите внимание на pickle.dumps('.', 3) == b'\x80\x03X\x01\x00\x00\x00.q\x00.' и последовательность X\x01\x00\x00\x00. встречается дважды в более длинном маринованном варианте ('.','.') и только один раз в коротком. Поэтому, хотя я не читаю формат Pickle, я думаю, что у вас есть один файл Pickle, который указывает на кортеж, содержащий одну и ту же строку дважды, и другой, который указывает на кортеж, содержащий две строки, которые оказались равными. Использование коротких строк в реализации Python может стереть эту разницу во время распечатывания, но даже если они не выглядят одинаково при печати и равны.
Рассмотрим широко эквивалентный вопрос, который кто-то может задать: «Я индексирую объекты по их представлению JSON, но [1, 1] и [ 1, 1 ] - это разные представления JSON одного и того же объекта». JSON - довольно простой формат, и канонизировать его довольно просто: сделайте пробел регулярным, закажите ключи в словарях, вот и все. Форматы pickle менее просты, и для типов в целом вам будет сложно определить и ввести одинаковые значения. Вы можете использовать набор для хранения канонической версии всего, что можно хэшировать, но не все, что можно рассортировать, можно хэшировать.
@SteveJessop Так как же хранить и искать произвольные данные в базе данных? Я сохраняю данные как засоленные, а затем перехожу поисковый запрос перед поиском.
Вы не Определение «равно» для двух значений в базе данных должно совпадать с тем, что база данных может считать равной. Таким образом, вы храните и ищете структурированные данные в базе данных. Если вы не можете найти способ структурировать свои данные, тогда у вас есть довольно сложная проблема, которая в некоторых случаях не может быть решена, кроме как путем перемещения логики из базы данных.
Я только заметил, что на полке в качестве ключей можно использовать только струны. Это многое объясняет. Тем не менее, я думаю, что глупо не делать канонические соленья, они были бы более полезными.

user2357112 · Accepted Answer · 2014-01-21T22-35-00.000Z

Соленые огурцы не уникальны; формат рассола на самом деле является крошечным небольшим языком программирования, а разные программы (соленые огурцы) могут создавать один и тот же результат (незакрашенный объект). Из документов:

Поскольку формат данных рассола на самом деле представляет собой крошечный язык программирования, ориентированный на стек, и в кодировании определенных объектов принимается некоторая свобода, возможно, что два модуля [pickle и cPickle] создают разные потоки данных для одного и того же входа объекты. Однако гарантируется, что они всегда смогут читать потоки данных друг друга.

Там даже функция pickletools.optimize, которая будет принимать рассол и выводит лучший рассол. Вам нужно будет перепроектировать вашу программу.

Как вы превращаете объекты в канонические индексы?
@mtanti: зависит от вашего варианта использования. Вам может не понадобиться, или вы можете использовать id , или repr может быть уместным, или вы можете написать собственный код.
@mtanti: Если ваши объекты являются кортежами из двух строк ... это уже делает довольно хороший индекс как есть. Он неизменный и хэшируемый, сохраняя и восстанавливая его с любым разумным форматом сохранения (включая pickle ), гарантированно предоставит равный объект и т. Д.
user2357112 @abarnert Я разрабатываю базу данных, в которой хранятся произвольные данные, которые я храню в виде соленых огурцов.
@mtanti: Что вы подразумеваете под «разработкой базы данных»? Создаете свой собственный механизм базы данных, предназначенный для непосредственного хранения объектов Python, и ожидаете, что сможете делать выражения Python в базе данных? Или просто использовать механизм базы данных, такой как sqlite или MySQL, для хранения объектов Python?
Извините, я хотел сказать "приложение базы данных". Я использую sqlite3, и я хочу хранить произвольные данные в нем, чтобы использовать его как тип диктовки с дополнительными функциями (полка не альтернатива нет).
Поскольку shelve допускает только строки в качестве ключей, я собираюсь разрешить только строки в своем приложении.