вставка целочисленных типов numpy в sqlite с помощью python3

Question

вставка целочисленных типов numpy в sqlite с помощью python3

5

Каков правильный способ вставки значений целочисленных объектов numpy в базы данных в python 3? В python 2.7 numpy числовые типы данных вставляют чисто в sqlite, но они не в python 3

import numpy as np
import sqlite3
conn = sqlite3.connect(":memory:")
conn.execute("CREATE TABLE foo (id INTEGER NOT NULL, primary key (id))")
conn.execute("insert into foo values(?)", (np.int64(100),)) # <-- Fails in 3

Типы np.float, похоже, все еще работают нормально как в 2, так и в 3.

    conn.execute("insert into foo values(?)", (np.float64(101),))

В python 2 числовые типы данных с числовым значением numpy больше не являются экземплярами int и даже преобразуют целые числа с плавающей запятой в ints.

   isinstance(np.int64(1), int)  # <- true for 2, false for python 3

Именно поэтому dbapi больше не работает без использования numpy?

David Nehme 03 авг. 2016, в 23:39

Источник

0

Целочисленный тип numpy - это не просто байтовое представление числа (это значение .item() ); является объектом, почти таким же, как отдельный элемент, 0d, массив. Поэтому я не думаю, что вы можете сохранить его во всей его красе в базе данных. Вы можете сохранить его целочисленное значение или эквивалент в несколько байтов, но не полный объект numpy. Есть ли что-то в sqlite3 о сохранении пользовательского экземпляра объекта?
hpaulj 03 авг. 2016, в 22:51
0

Всегда существует пугающий подход к расслаиванию (нацеленный на тип TEXT), или что-то более современное и основанное на двоичном коде, например MessagePack (нацеленный на тип BLOB).
sascha 03 авг. 2016, в 23:15
0

В чем преимущество сохранения np.int64(100) вместо 100 ? Есть ли полезная информация, которую вы не смогли восстановить во время извлечения? Вы можете посмотреть, как модули типа SQLAlchemy обрабатывают интерфейс sql-объекта.
hpaulj 03 авг. 2016, в 23:49
0

stackoverflow.com/questions/18621513/… является примером предыдущих вопросов SO. Решением для сохранения всего массива является запись np.save в byteString и сохранение его как пользовательского типа в базе данных. Ищите sqlite3 и numpy .
hpaulj 03 авг. 2016, в 23:58
0

@hpaulj Я создаю np.int64 явно в качестве примера. Я не пытаюсь сохранить объекты int64 в базе данных, просто их целочисленное представление.
David Nehme 04 авг. 2016, в 05:04
0

Хорошо, я замял различие py2 v py3. Если бы вы попытались сохранить элемент массива, я бы отправился на другую дорожку кролика. item() numpy обертку с numpy объектом. У меня не установлен numpy на py2, чтобы проверить эту сторону проблемы.
hpaulj 04 авг. 2016, в 11:53
1

Py3 убрал различие между целым и длинным. Таким образом, некоторые целочисленные значения dtypes больше не являются integer . Плавает еще подкласс. Вы все еще можете сохранить элемент массива с плавающей точкой?
hpaulj 04 авг. 2016, в 12:15
0

@hpaulj Да, по-видимому, вы можете вставить np.floatXXX типов.
David Nehme 04 авг. 2016, в 16:03
0

При тестировании структурированного массива в sqlite3 для записи в stackoverflow.com/questions/38798033/… я обнаружил, что tolist() прекрасно обрабатывает эту integer проблему: c.executemany(exec_string, data.tolist())
hpaulj 06 авг. 2016, в 23:04

Показать ещё 7 комментариев

Теги:

sqlite

python

numpy

python-3.x

python-db-api

1 ответ

Ещё вопросы

Целочисленный тип numpy - это не просто байтовое представление числа (это значение .item() ); является объектом, почти таким же, как отдельный элемент, 0d, массив. Поэтому я не думаю, что вы можете сохранить его во всей его красе в базе данных. Вы можете сохранить его целочисленное значение или эквивалент в несколько байтов, но не полный объект numpy. Есть ли что-то в sqlite3 о сохранении пользовательского экземпляра объекта?
Всегда существует пугающий подход к расслаиванию (нацеленный на тип TEXT), или что-то более современное и основанное на двоичном коде, например MessagePack (нацеленный на тип BLOB).
В чем преимущество сохранения np.int64(100) вместо 100 ? Есть ли полезная информация, которую вы не смогли восстановить во время извлечения? Вы можете посмотреть, как модули типа SQLAlchemy обрабатывают интерфейс sql-объекта.
stackoverflow.com/questions/18621513/… является примером предыдущих вопросов SO. Решением для сохранения всего массива является запись np.save в byteString и сохранение его как пользовательского типа в базе данных. Ищите sqlite3 и numpy .
@hpaulj Я создаю np.int64 явно в качестве примера. Я не пытаюсь сохранить объекты int64 в базе данных, просто их целочисленное представление.
Хорошо, я замял различие py2 v py3. Если бы вы попытались сохранить элемент массива, я бы отправился на другую дорожку кролика. item() numpy обертку с numpy объектом. У меня не установлен numpy на py2, чтобы проверить эту сторону проблемы.
Py3 убрал различие между целым и длинным. Таким образом, некоторые целочисленные значения dtypes больше не являются integer . Плавает еще подкласс. Вы все еще можете сохранить элемент массива с плавающей точкой?
@hpaulj Да, по-видимому, вы можете вставить np.floatXXX типов.
При тестировании структурированного массива в sqlite3 для записи в stackoverflow.com/questions/38798033/… я обнаружил, что tolist() прекрасно обрабатывает эту integer проблему: c.executemany(exec_string, data.tolist())

tck · Answer 1 · 2016-08-23T17-14-00.000Z

Согласно документам sqlite3:

Чтобы использовать другие типы Python с SQLite, вы должны адаптировать их к одному из поддерживаемых модулей sqlite3 для SQLite: один из NoneType, int, float, str, bytes.

Таким образом, вы можете адаптировать тип np.int64. Вы должны сделать что-то вроде этого:

import numpy as np
import sqlite3

sqlite3.register_adapter(np.int64, lambda val: int(val))
conn = sqlite3.connect(":memory:")
conn.execute("CREATE TABLE foo (id INTEGER NOT NULL, primary key (id))")
conn.execute("insert into foo values(?)", (np.int64(100),))

Docs