Мне была поручена задача хранения данных для отчетов и анализа данных. Позвольте мне сначала объяснить, что мы будем делать.
Шаг 1. Реплицируйте производственный сервер MySQL
данных MySQL
.
Шаг 2. Scheduled ETL
: чтение реплицированной базы данных (MySQL
) и перенос данных в PostgreSQL
.
Теперь мне нужна ваша помощь на шаге 2.
Примечание. Я хочу saveOrUpdate
функции saveOrUpdate
. Если id
доступен, обновите его или сохраните. Данные будут отобраны на основе modified
даты.
Итак, есть ли какой-либо инструмент для scheduled
данных в PostgreSQL
?, Учитывая мои требования.
Если нет доступных инструментов, то какой язык программирования я должен использовать для ETL? И другие указатели вы можете предоставить мне для достижения этого.
На вопрос dba.stackexchange.com
же вопрос https://dba.stackexchange.com/questions/203460/data-warehousing-etl-scheduled-data-migration-from-mysql-to-postgresql, но я предполагаю, что он имеет низкую пользовательскую базу, поэтому разместив его здесь.
На aws у вас есть DMS. Я не знаю, можете ли вы использовать его с внешними службами, но он работает очень хорошо.