Принудительно использовать sqoop для повторного создания схем улья при импорте

0

Мы импортируем базы данных из MySQL в Hive, используя Sqoop (1.4.6). Все работает нормально, за исключением случаев, когда таблицы таблиц обновляются (в основном, столбцы) в исходных базах данных. Модификации не заканчиваются в Hive. Кажется, что схема Hive создается только один раз и не проверяется в каждом импорте. Строки загружаются отлично, но, конечно, отсутствуют новые столбцы. Мы можем обойти это, сначала сбросив базы данных, чтобы заставить воссоздание схемы в Hive, но мой вопрос в том, есть ли способ сделать это непосредственно из Sqoop?

Наш сценарий импорта похож:

sqoop import-all-tables 
  --compress 
  --compression-codec=snappy 
  --connect "jdbc:mysql://HOST:PORT/DB" 
  --username USER
  --password PASS 
  --hive-import 
  --hive-overwrite 
  --hive-database DB 
  --as-textfile 
Теги:
hadoop
hive
sqoop
import

1 ответ

0

вы можете использовать таблицу hcatalog вместо улья, она будет работать.

Ещё вопросы

Сообщество Overcoder
Наверх
Меню