Мы импортируем базы данных из MySQL в Hive, используя Sqoop (1.4.6). Все работает нормально, за исключением случаев, когда таблицы таблиц обновляются (в основном, столбцы) в исходных базах данных. Модификации не заканчиваются в Hive. Кажется, что схема Hive создается только один раз и не проверяется в каждом импорте. Строки загружаются отлично, но, конечно, отсутствуют новые столбцы. Мы можем обойти это, сначала сбросив базы данных, чтобы заставить воссоздание схемы в Hive, но мой вопрос в том, есть ли способ сделать это непосредственно из Sqoop?
Наш сценарий импорта похож:
sqoop import-all-tables
--compress
--compression-codec=snappy
--connect "jdbc:mysql://HOST:PORT/DB"
--username USER
--password PASS
--hive-import
--hive-overwrite
--hive-database DB
--as-textfile
вы можете использовать таблицу hcatalog вместо улья, она будет работать.