Я пытаюсь написать Python для:
собирать данные josn или csv из API наших поставщиков,
загрузить данные в BigQuery
В: Могу ли я загрузить данные непосредственно в BigQuery, не сохраняя их в GCS?
Спасибо,
Изменение: Client.load_table_from_dataframe может быть решением.
Пара идей:
array_of_structs
в качестве параметра запроса типа ARRAY<STRUCT<x INT64, y STRING, z BOOL>>
(структура должна иметь соответствующий тип строки, который вы хотите использовать). Обратите внимание, что для вызовов BigQuery существует максимальный размер запроса, который, если я правильно помню, составляет 10 МБ.Запрос:
INSERT dataset.table (x, y, z)
SELECT x, y, z
FROM UNNEST(@array_of_structs)