Python драйвер для SQLServer pyodbc намного медленнее, чем psycopg2 и mysql.connector со вставками

Question

Python драйвер для SQLServer pyodbc намного медленнее, чем psycopg2 и mysql.connector со вставками

0

У нас есть приложение, построенное на Python, которое должно запускаться в разных базах данных, например SQLServer, MySQL и Postgres. Когда мы вставляем в SQL Server с помощью библиотеки pyodbc, это намного медленнее (20 раз!), Чем при выполнении тех же вставок в Postgres, используя psycopg2 или в MySQL, используя mysql.connector. У меня есть два вопроса: 1. В чем причина этой разницы в производительности? 2. Что мы можем сделать (помимо использования Postgres/MySQL)?

Harm 22 июнь 2018, в 11:46

Источник

0

По умолчанию psycopg2 отключил автокоммит. Возможно, pyodbc использует режим автоматической фиксации.
Pavel Stehule 22 июнь 2018, в 09:19
0

Привет, Павел, спасибо, но у нас также есть автокоммит в psycopg2.
Harm 22 июнь 2018, в 09:31
0

Для MySQL вы используете MySQL, Connector / Python или MySQL, Connector / ODBC?
Gord Thompson 22 июнь 2018, в 11:51
0

Кстати, я только что протестировал SQL Server ODBC 11 против MySQL, Connector / ODBC 5.3, используя fast_executemany под pyodbc 4.0.23, и INSERT для SQL Server были более чем в пять раз быстрее, чем MySQL (16 000 строк в секунду против 2800 строк в секунду).
Gord Thompson 22 июнь 2018, в 13:17
0

@ Горд, я постараюсь, спасибо!
Harm 22 июнь 2018, в 22:37

Показать ещё 3 комментария

Теги:

mysql

sql-server

python-3.x

postgresql

pyodbc

1 ответ

Ещё вопросы

По умолчанию psycopg2 отключил автокоммит. Возможно, pyodbc использует режим автоматической фиксации.
Привет, Павел, спасибо, но у нас также есть автокоммит в psycopg2.
Для MySQL вы используете MySQL, Connector / Python или MySQL, Connector / ODBC?
Кстати, я только что протестировал SQL Server ODBC 11 против MySQL, Connector / ODBC 5.3, используя fast_executemany под pyodbc 4.0.23, и INSERT для SQL Server были более чем в пять раз быстрее, чем MySQL (16 000 строк в секунду против 2800 строк в секунду).

Gord Thompson · Answer 1 · 2018-06-23T12-52-00.000Z

Когда MySQL Connector/Python встречает вызов executemany для оператора INSERT, он создает один или несколько многострочных INSERT, тем самым уменьшая количество обращений к серверу. Например,

crsr = cnxn.cursor()
sql = "INSERT INTO mytable (id) VALUES (%s)"
params = [(x,) for x in range(3)]
crsr.executemany(sql, params)

отправляет на сервер MySQL один оператор INSERT

INSERT INTO mytable (id) VALUES (0),(1),(2)

Напротив, поведение по умолчанию для pyodbc заключается в отправке отдельных инструкций INSERT, поэтому

crsr = cnxn.cursor()
sql = "INSERT INTO mytable (id) VALUES (?)"
params = [(x,) for x in range(3)]
crsr.executemany(sql, params)

отправляет эквивалент

INSERT INTO mytable (id) VALUES (0)
INSERT INTO mytable (id) VALUES (1)
INSERT INTO mytable (id) VALUES (2)

требуя трех раундов на сервере вместо одного.

К счастью, текущие версии pyodbc поддерживают многострочные INSERT на SQL Server через свойство fast_executemany объекта Cursor, поэтому

crsr = cnxn.cursor()
sql = "INSERT INTO mytable (id) VALUES (?)"
params = [(x,) for x in range(3)]
crsr.fast_executemany = True
crsr.executemany(sql, params)

дает по существу тот же результат, что и пример MySQL Connector/Python выше.