База данных или простой файл для миллионов записей?

Question

База данных или простой файл для миллионов записей?

0

Предположим, что кортеж из четырех строк (дата, имя, тип, цена) генерируется каждые 10 секунд. Я пишу программу на Python для хранения этих кортежей на диске для будущего использования (только для чтения ¹). Будут миллионы кортежей, поэтому здесь важна операция "вставки". Какое лучшее решение этой проблемы? SQLite, Postgres, MongoDB или плоский файл?

¹ Я прочитаю почти все данные в памяти, от начала до конца. Мне не нужны сложные реляционные чтения. Например, "SELECT price FROM table" - это то, что мне нужно. Я вообще не буду использовать какие-либо индексы.

jtmarmon 11 март 2015, в 18:09

Источник

1

«только чтение» немного расплывчато ... как читаются данные? Если вы хотите случайное чтение, плоские файлы не будут веселыми. Если вам нужны сложные реляционные чтения, используйте RDBMS. Если нет, то монго может быть лучшим выбором ... Какие типы индексов вам понадобятся и т. Д. - это очень широкий вопрос и слишком мало информации. Кроме того, на одну вставку каждые 10 секунд на 100M потребуется более 31 года ...
mnemosyn 11 март 2015, в 16:27
0

Я буду читать почти все данные в памяти, от начала до конца. Мне не нужны сложные реляционные чтения. Например, «ВЫБРАТЬ ЦЕНУ ИЗ СТОЛ» - это то, что мне нужно. Я не буду использовать индексы вообще.
user1277337 11 март 2015, в 16:34
0

Затем спросите себя о нефункциональных требованиях (репликация, что происходит в случае сбоя и т. Д.). Плоские файлы будут делать это, и они всегда самые быстрые для массовых, но я бы лично выбрал mongodb. С WiredTiger вы также получаете сжатие, которое, вероятно, полезно в этом случае ... В любом случае, я бы сказал, что это вопрос предпочтений, любая база данных может справиться с этим, как и плоские файлы ...
mnemosyn 11 март 2015, в 16:40
1

Спасибо за исправление. «Сотни миллионов» было слишком много. Репликация не является приоритетом. Я уже написал решение на основе монго и решение на основе sqlite. Так что ответ «просто выбери один и иди с ним», верно? Я выберу монго тогда.
user1277337 11 март 2015, в 16:52

Показать ещё 2 комментария

Теги:

database

sqlite

mongodb

postgresql

flat-file

1 ответ

Ещё вопросы

«только чтение» немного расплывчато ... как читаются данные? Если вы хотите случайное чтение, плоские файлы не будут веселыми. Если вам нужны сложные реляционные чтения, используйте RDBMS. Если нет, то монго может быть лучшим выбором ... Какие типы индексов вам понадобятся и т. Д. - это очень широкий вопрос и слишком мало информации. Кроме того, на одну вставку каждые 10 секунд на 100M потребуется более 31 года ...
Я буду читать почти все данные в памяти, от начала до конца. Мне не нужны сложные реляционные чтения. Например, «ВЫБРАТЬ ЦЕНУ ИЗ СТОЛ» - это то, что мне нужно. Я не буду использовать индексы вообще.
Затем спросите себя о нефункциональных требованиях (репликация, что происходит в случае сбоя и т. Д.). Плоские файлы будут делать это, и они всегда самые быстрые для массовых, но я бы лично выбрал mongodb. С WiredTiger вы также получаете сжатие, которое, вероятно, полезно в этом случае ... В любом случае, я бы сказал, что это вопрос предпочтений, любая база данных может справиться с этим, как и плоские файлы ...
Спасибо за исправление. «Сотни миллионов» было слишком много. Репликация не является приоритетом. Я уже написал решение на основе монго и решение на основе sqlite. Так что ответ «просто выбери один и иди с ним», верно? Я выберу монго тогда.

jtmarmon · Accepted Answer · 2015-03-11T19-52-00.000Z

Я определенно рекомендую манго. С индексами вы можете иметь очень хорошую производительность на этом наборе данных. При использовании плоского файла вам придется управлять всеми сложностями системы баз данных в логике приложения (если вам нужны эти данные с любой срочностью). Если вы добавите индекс в поле, которое вы хотите запросить, вы должны быть в курсе категории производительности, особенно если вы находитесь только в миллионах диапазонов записей.