Что делает ExecuteNonQuery () во время массовой вставки?

Question

Что делает ExecuteNonQuery () во время массовой вставки?

0

У меня есть некоторый объемный вложенный код vb.net (рабочий), который я написал. Он вызывает ExecuteNonQuery() для каждой вставки, а затем в конце делает commit().

Мой вопрос в том, где находятся эти вставки, ожидая команды commit()? Я пока не внес никаких изменений в поддержку пакетной обработки. Таким образом, с моим существующим кодом миллион строк будет вставлен перед вызовом commit(). Я задаю этот вопрос, очевидно, знать, буду ли я сталкиваться с проблемами памяти, а потому заставляю меня вносить изменения в свой код.

pnizzle 17 окт. 2016, в 08:03

Источник

0

ExecuteNonQuery() возвращает количество затронутых строк. Можно ли включить образцы фрагментов, которые вы используете в настоящее время, тогда вы получите гораздо лучший ответ?
sujith karivelil 17 окт. 2016, в 05:08
1

Они нигде не размещены. Они выполнены. Вероятно, у вас не будет проблем с памятью, но самый простой способ это сделать - это сделать. Сколько времени вам понадобится, чтобы написать эту 10-строчную программу и запустить ее для тестирования?
Robert McKee 17 окт. 2016, в 05:11
1

Вот небольшой пост в блоге какого-то случайного интернет-человека, с которым я столкнулся при использовании Google, который вы можете прочитать: jokecamp.com/blog/make-your-sqlite-bulk-inserts-very-fast-in-c
Robert McKee 17 окт. 2016, в 05:15
0

Поправьте меня, если я ошибаюсь, но эти незафиксированные вставки уже есть в таблице, верно? Он просто находится там в ожидании подтверждения, потому что когда вы выбираете таблицу с помощью WITH (NO LOCK) , вы можете видеть, что записи уже есть.
Allen Binuya 17 окт. 2016, в 05:16
2

Это может ответить на ваш вопрос stackoverflow.com/questions/15795259/…
user1751825 17 окт. 2016, в 05:21
0

@un-lucky не повезло, я знаю, что он возвращает количество затронутых строк. Меня больше интересует, хранится ли что-нибудь в памяти для каждой строки, что означает, что чем больше строк, тем больше потребление памяти.
pnizzle 17 окт. 2016, в 05:26
0

Такое название вопроса может вызвать путаницу. Массовая вставка имеет особое значение в SQL-сервере и не связана с ExecuteNonQuery.
user1751825 17 окт. 2016, в 05:27
0

@RobertMcKee программа не 10 строк, это намного больше, чем это. Мне было интересно узнать, есть ли что-нибудь, что хранится в памяти для каждой строки, что означало бы, что я должен следить за потреблением памяти. Не похоже, что это так. Что касается вашей ссылки, я фактически следовал по этой ссылке около месяца, пока проводил исследование массовых вставок. Спасибо, это именно тот подход, который я использую.
pnizzle 17 окт. 2016, в 05:28
0

@user1751825 user1751825 да, я могу позволить себе вставить данные в одну транзакцию. Я работаю над политикой « All or none . Если что-то не получается, весь процесс прерывается.
pnizzle 17 окт. 2016, в 05:29
0

@user1751825 user1751825 относительно вашей ссылки, да, это то, что я был после.
pnizzle 17 окт. 2016, в 05:33
1

@pnizzle Извините, я не имел в виду, что вся ваша программа будет состоять из 10 строк, но важным кодом, который вам нужно было проверить, был. На самом деле, если вы используете тот же код в приведенной мной ссылке, это будет 9 строк, если вы не посчитаете строки, которые он использовал для сравнения результатов.
Robert McKee 17 окт. 2016, в 15:44

Показать ещё 9 комментариев

Теги:

sqlite

vb.net

bulkinsert

executenonquery

2 ответа

-3

в запросе массовой вставки, command.ExecuteNonQuery() возвращает количество строк, выполняемых оператором вставки, обновления или удаления.

В вашем случае после каждой успешной вставки он будет возвращать 1 как целое. если вы не используете запрос транзакции, Commit не имеет никакого смысла. Если вы явно не используете транзакцию, изменения совершаются автоматически.

Pravin Kr. Mishra 17 окт. 2016, в 06:01

1

Хм .. я думаю, что не ОП спрашивал?
Allen Binuya 17 окт. 2016, в 05:21
0

В случае фиксации произошла бы ошибка, если бы транзакции не использовались, так что, вероятно, они есть. Вопрос в том, где на самом деле хранятся эти незафиксированные данные.
user1751825 17 окт. 2016, в 05:23
0

Это не то, о чем мой вопрос. Я знаю, что это возвращает.
pnizzle 17 окт. 2016, в 05:32

Показать ещё 1 комментарий

Ещё вопросы

ExecuteNonQuery() возвращает количество затронутых строк. Можно ли включить образцы фрагментов, которые вы используете в настоящее время, тогда вы получите гораздо лучший ответ?
Они нигде не размещены. Они выполнены. Вероятно, у вас не будет проблем с памятью, но самый простой способ это сделать - это сделать. Сколько времени вам понадобится, чтобы написать эту 10-строчную программу и запустить ее для тестирования?
Вот небольшой пост в блоге какого-то случайного интернет-человека, с которым я столкнулся при использовании Google, который вы можете прочитать: jokecamp.com/blog/make-your-sqlite-bulk-inserts-very-fast-in-c
Поправьте меня, если я ошибаюсь, но эти незафиксированные вставки уже есть в таблице, верно? Он просто находится там в ожидании подтверждения, потому что когда вы выбираете таблицу с помощью WITH (NO LOCK) , вы можете видеть, что записи уже есть.
Это может ответить на ваш вопрос stackoverflow.com/questions/15795259/…
@un-lucky не повезло, я знаю, что он возвращает количество затронутых строк. Меня больше интересует, хранится ли что-нибудь в памяти для каждой строки, что означает, что чем больше строк, тем больше потребление памяти.
Такое название вопроса может вызвать путаницу. Массовая вставка имеет особое значение в SQL-сервере и не связана с ExecuteNonQuery.
@RobertMcKee программа не 10 строк, это намного больше, чем это. Мне было интересно узнать, есть ли что-нибудь, что хранится в памяти для каждой строки, что означало бы, что я должен следить за потреблением памяти. Не похоже, что это так. Что касается вашей ссылки, я фактически следовал по этой ссылке около месяца, пока проводил исследование массовых вставок. Спасибо, это именно тот подход, который я использую.
@user1751825 user1751825 да, я могу позволить себе вставить данные в одну транзакцию. Я работаю над политикой « All or none . Если что-то не получается, весь процесс прерывается.
@user1751825 user1751825 относительно вашей ссылки, да, это то, что я был после.
@pnizzle Извините, я не имел в виду, что вся ваша программа будет состоять из 10 строк, но важным кодом, который вам нужно было проверить, был. На самом деле, если вы используете тот же код в приведенной мной ссылке, это будет 9 строк, если вы не посчитаете строки, которые он использовал для сравнения результатов.
В случае фиксации произошла бы ошибка, если бы транзакции не использовались, так что, вероятно, они есть. Вопрос в том, где на самом деле хранятся эти незафиксированные данные.
Это не то, о чем мой вопрос. Я знаю, что это возвращает.

CL. · Accepted Answer · 2016-10-17T08-17-00.000Z

В обычном режиме журнала отката изменения просто записываются в базу данных. Однако, чтобы разрешить атомные коммиты, предыдущее содержимое всех измененных страниц базы данных записывается в журнал отката, чтобы откат мог восстановить предыдущее состояние. (Когда вы делаете так много вставок, что нужно выделять новые страницы, для этих страниц нет старого состояния.)

В режиме WAL все изменения записываются в журнал записи вперед.

В любом случае на самом деле ничего не записывается до тех пор, пока объем данных не переполнит кеш страницы (размер по умолчанию составляет около 2 МБ).

Таким образом, размер транзакции не ограничен памятью, а только дисковым пространством.