MONGODB Mongoimport возможно ускорить?

Question

MONGODB Mongoimport возможно ускорить?

2

У меня есть файл CSV объемом 2 ГБ с 9 М-записями, которые я импортирую в MongoDB, используя собственный инструмент mongoimport. Он импортирует CSV со скоростью 8K в секунду. Общее время составляет 10 минут. Скорость импорта довольно разумная, но, похоже, она намного медленнее, чем версия MySQL LOAD DATA INFILE (занимает всего 2 минуты, чтобы вставить все записи в базу данных). Хотя это приемлемо (MongoDB построен для объектов типа JSON, и ускорения обычно запрашиваются, а не вставляются), я хотел бы знать, есть ли способ ускорить количество вставок в секунду, выполненное в MongoDB mongoimport? У меня есть только один компьютер с 8 ГБ оперативной памяти и 4 ядра. Благодарю.

Sai 15 июнь 2013, в 02:08

Источник

2

Поместите его на второй диск, убедитесь, что нет никаких индексов ... Отключите ведение журнала ... Если он не забивает диск и процессор, вы можете написать немного кода для чтения из файла и вставьте это быстрее. Или просто отдохнуть и подождать. :)
WiredPrairie 15 июнь 2013, в 00:09
0

Хорошо, я думал, что собственный инструмент импорта будет быстрее, чем «кусок кода, который будет проходить через файл и выполнять пакетную вставку». Это заблуждение с моей стороны?
Sai 15 июнь 2013, в 02:19
1

Действительно ли компьютер уже занят? Может быть, это так же хорошо, как ваш компьютер.
WiredPrairie 15 июнь 2013, в 03:05
1

mongoimport должен сериализовать все записи json в bson - так что это не «нативный» инструмент в том смысле, что он не загружает нативный в формат MongoDB.
Asya Kamsky 15 июнь 2013, в 11:53
0

@WiredPrairie - я думаю, это правда. Я мог бы просто жить с этим. Я просто хотел узнать, есть ли какой-нибудь способ настроить представление. Я полностью понимаю, если это лучшее, что можно сделать.
Sai 15 июнь 2013, в 17:16
0

@Asya - Да, вы правы, может быть, поэтому не так быстро, как оператор MySQL LOAD INTO для файла CSV.
Sai 15 июнь 2013, в 17:18

Показать ещё 4 комментария

Теги:

mysql

csv

mongodb

mongoimport

1 ответ

Ещё вопросы

Поместите его на второй диск, убедитесь, что нет никаких индексов ... Отключите ведение журнала ... Если он не забивает диск и процессор, вы можете написать немного кода для чтения из файла и вставьте это быстрее. Или просто отдохнуть и подождать. :)
Хорошо, я думал, что собственный инструмент импорта будет быстрее, чем «кусок кода, который будет проходить через файл и выполнять пакетную вставку». Это заблуждение с моей стороны?
Действительно ли компьютер уже занят? Может быть, это так же хорошо, как ваш компьютер.
mongoimport должен сериализовать все записи json в bson - так что это не «нативный» инструмент в том смысле, что он не загружает нативный в формат MongoDB.
@WiredPrairie - я думаю, это правда. Я мог бы просто жить с этим. Я просто хотел узнать, есть ли какой-нибудь способ настроить представление. Я полностью понимаю, если это лучшее, что можно сделать.
@Asya - Да, вы правы, может быть, поэтому не так быстро, как оператор MySQL LOAD INTO для файла CSV.

Asya Kamsky · Accepted Answer · 2013-06-15T13-28-00.000Z

Поскольку большинство времени, скорее всего, потрачено на сериализацию объектов JSON в BSON (собственный формат MongoDB), вы, скорее всего, получите более быстрый импорт, если сможете разделить свой файл и иметь несколько параллельных заданий, каждый из которых запускает mongoimport с отдельным файлом.

Спасибо, это хороший момент, я думаю, что попробую это.