Может ли команда Redshift скопировать более одной таблицы?

0

Я хочу переместить некоторые базы данных MySQL в облако в Amazon Redshift. В настоящее время я создаю скрипт Python для преобразования таблиц в CSV, зашифровываю их, помещаю их в S3, а затем копирую данные в Redshift. Однако, как он настроен, мне пришлось бы копировать данные по одной таблице за раз. Я прочитал, что вы можете разделить свои данные на несколько файлов и загрузить их параллельно, но я считаю, что это все еще только для загрузки данных в одну таблицу. Есть ли способ использовать COPY для нескольких таблиц одновременно? Необходимость копирования данных из каждой таблицы по отдельности кажется очень неэффективной.

  • 0
    взгляните на aws dms - это может упростить ваше решение.
Теги:
amazon-web-services
amazon-redshift
data-migration

1 ответ

2

Все ваши утверждения верны.

Команда COPY может загружаться из нескольких файлов параллельно (на самом деле это рекомендуется, потому что она может затем распространять нагрузку на нескольких узлах), но она загружается только в таблицу за команду COPY.

Вы можете подключиться к Redshift через несколько сеансов и запустить команду COPY в каждом сеансе для одновременного загрузки нескольких таблиц (но будьте осторожны с воздействием на пользователей).

Если вы хотите перенести данные из локальной базы данных в Amazon Redshift, рассмотрите возможность использования:

Служба миграции базы данных может даже выполнять текущие обновления Redshift всякий раз, когда данные обновляются в исходной базе данных.

Поделиться
  • 0
    Я рассмотрел это с помощью их службы миграции, так как это выглядит намного удобнее, однако я обнаружил, что их инструмент преобразования схем не поддерживает преобразование базы данных MySQL в Amazon Redshift, что в конечном итоге нам и нужно

Ещё вопросы

Сообщество Overcoder
Наверх
Меню