GAE массовая загрузка программно

Question

GAE массовая загрузка программно

1

У меня есть python script, который предназначен для запуска на моем локальном компьютере каждую ночь. Цель состоит в том, чтобы вытащить данные с стороннего сервера, выполнить некоторую обработку на нем и выполнить массовую загрузку в хранилище данных GAE.

Моя проблема хотя и горячая для загрузки массовой загрузки из python script. Все примеры, которые я видел (в том числе документацию Google), используют командную строку "appcfg.py upload_data...", и, насколько я вижу, appcfg.py и bulkloader.py не выставляют API, который гарантированно не изменится.

Мои два параметра, которые я вижу сейчас, это либо выполнить команду "appcfg.py upload_data..." из моего python script, что кажется окольным путем. Или напрямую вызвать внутренние методы appcfg.py, что означает, что я должен перекодировать сообщения в случае их изменения.

sili 01 июнь 2011, в 16:52

Источник

Теги:

python

google-app-engine

google-cloud-datastore

2 ответа

1

Этот ответ устарел. См. Ниже ссылку на мой последний ответ для массовой загрузки данных в движок приложения.

Как загрузить данные навалом в хранилище appengine? Старые методы не работают

Sriram 11 янв. 2015, в 18:06

Ещё вопросы

Abdul Kader · Accepted Answer · 2011-06-01T11-55-00.000Z

2

Лучший ответ

Appengine может выполнять задания cron. Все, что вам нужно, это написать один script, который вытаскивает данные с стороннего сервера и загружает его в механизм appengine, Appenigne сделает все для вас. Appengine cron у этого есть все, что вам нужно знать о запуске работы cron в appengine

Abdul Kader 01 июнь 2011, в 11:55

0

Причина, по которой я решил использовать Навалдер, состоит в том, что данные, которые я получаю, находятся в нескольких файлах CSV. С некоторыми минимальными настройками, Bulloader делает всю работу по загрузке их для меня. Насколько я понимаю, если я использую задание cron, мне придется самому разбирать файлы, создавать и сохранять объекты сущностей. Я бы, вероятно, прикусил бы пулю и использовал бы cron, если нет никакого способа обойти это.
sili 01 июнь 2011, в 14:20
0

как насчет запуска bulkuploader.py с использованием cron ....
Abdul Kader 01 июнь 2011, в 14:27
0

Это интересная идея. Но мы прошли полный круг. Предоставляет ли Bulloader API, который не изменится в будущем; делает что-то вроде "bulkloader.main (argv_that_I_create)" безопасно?
sili 01 июнь 2011, в 15:54
0

Вы не можете доверять любому API, чтобы не измениться в будущем. Однако хорошие API меняются только в случае крайней необходимости, и они не меняются внезапно без какого-либо уведомления / документации.
Botond Béres 01 июнь 2011, в 19:52
0

Разбор CSV-файлов не сложен - модуль Python csv сделает это за вас. Написание собственного кода, вероятно, является лучшим подходом здесь - массовый загрузчик предназначен для «одноразового» и резервного копирования массовой загрузки / выгрузки. Запуск его из App Engine определенно не будет работать.
Nick Johnson 02 июнь 2011, в 00:44

Показать ещё 3 комментария