Лучшая реляционная база данных для хранения 1 миллиарда записей

Любая реляционная база данных может обрабатывать миллиард строк.

Проблемы с производительностью возникают из

• Неадекватные индексы - особенно "составные" индексы
• Плохо сформулированные запросы - например, скрытие индексированных столбцов внутри вызовов функций.

Если это приложение "Хранилище данных", "Сводные таблицы" имеют жизненно важное значение для производительности.

В некоторых случаях я спрашиваю: "Вам действительно нужно хранить данные?" Если вы хотите описать свой набор данных, я расскажу вам, почему вам, возможно, не нужно все это держать.

Ваши запросы "точечные запросы"? Пример: для одного регистрационного_ид, получите остальные данные для него. - Это очень тривиально и очень быстро, независимо от механизма базы данных, размера стола и т.д.

(У меня проблемы с верой, что вы собираетесь "зарегистрировать" миллиард людей!)

Как насчет скорости приема? Вычислите, сколько строк в секунду вам нужно будет сделать, чтобы достичь миллиарда строк за разумное время.

Вы должны набросать свои запросы, поэтому мы можем помочь вам разработать таблицы (таблицы), индексы и даже запросы для работы с миллиардом строк.

Да, MySQL может легко хранить 1 миллиард строк в таблице, я предлагаю использовать Aurora, вы можете использовать registation_id в качестве столбца первичного ключа и добавлять составные индексы в соответствии с запросом, чтобы ускорить его. т.е. если вы ссылаетесь на один столбец в большинстве запросов на выборку, оставьте этот столбец первым столбцом в составном индексе.

Поскольку вы на AWS, попробуйте Amazon Aurora (MySQL). Убедитесь, что вы выбрали тип экземпляра с достаточным объемом оперативной памяти, чтобы кеш был достаточно большим для индекса. Если вы не часто вставляете и просто выполняете запрос, тогда установите свой регистрационный идентификатор в качестве первичного ключа. Это поможет ускорить ваши запросы, если вы ищете по идентификатору регистрации. Хотя использование огромной таблицы можно выполнить, если ваше оборудование соответствует задаче, обычно лучше очертить ваши данные на несколько таблиц. Вы должны попытаться сохранить те записи, которые начинаются с "A" в ID регистрации в 1 таблице, начиная с "B" в другой и т.д.