Как извлечь данные из BigQuery и вставить данные в MySQL?

Question

Как извлечь данные из BigQuery и вставить данные в MySQL?

0

Я пытаюсь написать пакетный файл, который может извлекать определенные данные из Google BigQuery, а затем вставлять эти данные в mySQL.

Язык для пакетного сервера - Java, а инструмент сборки - Ant.

David Qingliao Wu 23 авг. 2018, в 12:58

Источник

0

Добро пожаловать в StackOverflow! Для чтения из Google BigQuery вы можете использовать клиентские библиотеки Java для BigQuery . Вот весь репозиторий Github, который содержит больше информации. Это то, что вы хотели?
Iñigo 23 авг. 2018, в 11:35
0

Спасибо за ответ Иньиго. Есть ли возможность использовать клиентскую библиотеку для BigQuery с помощью инструмента сборки Ant? Мы не используем Maven. Это проблема, которую мы имеем здесь.
DavidW 24 авг. 2018, в 02:26

Теги:

mysql

java

sh

shell

google-bigquery

1 ответ

Ещё вопросы

Добро пожаловать в StackOverflow! Для чтения из Google BigQuery вы можете использовать клиентские библиотеки Java для BigQuery . Вот весь репозиторий Github, который содержит больше информации. Это то, что вы хотели?
Спасибо за ответ Иньиго. Есть ли возможность использовать клиентскую библиотеку для BigQuery с помощью инструмента сборки Ant? Мы не используем Maven. Это проблема, которую мы имеем здесь.

ch_mike · Accepted Answer · 2018-08-23T20-02-00.000Z

Как упоминал Иниго, вы можете прочитать данные из BigQuery с клиентской библиотекой BigQuery Java. Это был бы самый простой подход. У вас есть 2 варианта:

a. Создайте задание запроса, чтобы получить результирующий набор SQL-запроса, проанализировать результат и записать его в MySQL. Для этого подхода вы можете использовать:

Метод "Создать задание " для создания задания запроса (см. Пример в ссылке).
Метод getJob для получения статуса асинхронного задания.
Метод getQuery позволяет получить результат.

b. Создайте экспортное задание, которое будет экспортировать данные таблицы BigQuery в файл в Cloud Storage, затем загрузите файл из облачного хранилища и запишите данные в MySQL. Обратите внимание, что этот метод будет более сложным, если вы не знакомы с облачной платформой Google, так как вам необходимо создать ведро Cloud Storage и взаимодействовать с облачной библиотекой Java Storage.

Чтобы записать данные в MySQL, вам нужно использовать Java-коннектор, подобный этому.

Надеюсь, это указывает на правильное направление.

Спасибо тебе Майк! Похоже, что API требует Maven в качестве инструмента для сборки, но, к сожалению, мы не используем Maven, а система использует Ant. Есть ли в любом случае использовать API на основе инструмента сборки Ant?
Если вы не уверены в этом, возможно, вы можете использовать этот плагин Maven для создания файла сборки Ant. Или используйте менеджер зависимостей Ivy . Возможно, вы захотите взглянуть на ответы на этот вопрос, который указал мне на эти ресурсы.