Хранилище данных (ETL): запланированная миграция данных из MySQL в PostgreSQL

Question

Хранилище данных (ETL): запланированная миграция данных из MySQL в PostgreSQL

0

Мне была поручена задача хранения данных для отчетов и анализа данных. Позвольте мне сначала объяснить, что мы будем делать.

Шаг 1. Реплицируйте производственный сервер MySQL данных MySQL.

Шаг 2. Scheduled ETL: чтение реплицированной базы данных (MySQL) и перенос данных в PostgreSQL.

Теперь мне нужна ваша помощь на шаге 2.

Примечание. Я хочу saveOrUpdate функции saveOrUpdate. Если id доступен, обновите его или сохраните. Данные будут отобраны на основе modified даты.

Итак, есть ли какой-либо инструмент для scheduled данных в PostgreSQL?, Учитывая мои требования.

Если нет доступных инструментов, то какой язык программирования я должен использовать для ETL? И другие указатели вы можете предоставить мне для достижения этого.

На вопрос dba.stackexchange.com же вопрос https://dba.stackexchange.com/questions/203460/data-warehousing-etl-scheduled-data-migration-from-mysql-to-postgresql, но я предполагаю, что он имеет низкую пользовательскую базу, поэтому разместив его здесь.

Vicky Thakor 10 апр. 2018, в 09:59

Источник

0

Гугл находит мне инструменты Пентахо. wiki.pentaho.com/display/EAI/… Хотя я не эксперт.
Dylan Brams 10 апр. 2018, в 07:50
0

Я сделал Google, но не был настолько удовлетворительным, поэтому спросил экспертов.
Vicky Thakor 10 апр. 2018, в 07:55

Теги:

mysql

postgresql

etl

1 ответ

Ещё вопросы

Гугл находит мне инструменты Пентахо. wiki.pentaho.com/display/EAI/… Хотя я не эксперт.
Я сделал Google, но не был настолько удовлетворительным, поэтому спросил экспертов.

kletord · Answer 1 · 2018-04-10T06-56-00.000Z

На aws у вас есть DMS. Я не знаю, можете ли вы использовать его с внешними службами, но он работает очень хорошо.