MaxMind Europe City слишком большой на GAE

Question

MaxMind Europe City слишком большой на GAE

0

Я пытаюсь использовать базу данных MaxMind City размером около 36 МБ в Google App Engine. К сожалению, GAE позволяет получить максимальный размер файла 32 МБ, а MaxMind API не будет работать, если файл хранится в Google Storage.

Кто-то понял путь. До сих пор моим единственным обходным решением является загрузка "старой" базы данных с унаследованным API, который составляет всего 27 МБ. Хорошо работает, но мне интересно, что произойдет, если мне когда-нибудь придется полагаться на главную...

Аналогичный вопрос, который еще не ответил: файл базы данных Maxmind слишком велик для AppEngine App

благодаря

Andrea De Togni 18 нояб. 2014, в 22:34

Источник

0

Разве вы не можете поместить этот файл в свое хранилище Cloud и ссылаться на него оттуда?
Stuart Langley 18 нояб. 2014, в 21:48
1

Также вы знаете, что App Engine уже предоставляет заголовки GEO? HTTP_X_APPENGINE_CITY и т. Д.
Stuart Langley 18 нояб. 2014, в 21:50
0

Привет сту Спасибо за ваше предложение, но хранение в Storage не работает (пробовал), так как класс читателя maxmind выполняет много операций fseek, ftell с бинарными операциями, где-то в коде что-то не работает, поскольку он читает неверное число байтов и вызывает исключение , Также мне нужно найти огромное количество IP-адресов, хранящихся в таблице журнала, определение местоположения запрашивающей стороны страницы не поможет.
Andrea De Togni 18 нояб. 2014, в 22:09
0

Есть ошибка поиска 524287, исправленная в версии 1.9.17. Предложите попробовать еще раз, когда это выйдет. Если это все еще не работает, то это все еще ошибка с нашей стороны, которую мы должны исправить. Кроме того, мы кэшируем результат чтения, поэтому он должен быть довольно быстрым, как только мы загрузим файл в первый раз.
Stuart Langley 18 нояб. 2014, в 22:13
0

Привет Стю, спасибо. У вас есть идентификатор ошибки и ожидаемая дата выпуска?
Andrea De Togni 18 нояб. 2014, в 22:22
0

Скоро - пришлите мне ваш app_id, и я смогу перевезти вас, чтобы протестировать его.
Stuart Langley 19 нояб. 2014, в 01:05
0

ЗДРАВСТВУЙ. Это мой идентификатор приложения "appnexus-logfiles-groupm". Спасибо
Andrea De Togni 19 нояб. 2014, в 06:24
0

Хорошо, можешь попробовать?
Stuart Langley 19 нояб. 2014, в 09:07
0

Конечно, мне нужно время, чтобы изменить код. Я дам Вам знать.
Andrea De Togni 19 нояб. 2014, в 09:08
0

Привет Стю, проверил и все тот же вопрос. Обратите внимание, что в AppEngine-> Dashboard-> Instances я все еще вижу 1.9.16, а не .17 (дайте мне знать, если вы хотите переключиться на другой метод разговора)
Andrea De Togni 19 нояб. 2014, в 09:16
0

Аааа, да давайте иногда, что может случиться - нужно будет подождать день или около того
Stuart Langley 19 нояб. 2014, в 09:39
0

Привет @StuartLangley, просто чтобы сообщить вам, что после почти двух дней я все еще вижу 1.9.16
Andrea De Togni 21 нояб. 2014, в 08:51
0

Да, была задержка до следующей недели.
Stuart Langley 22 нояб. 2014, в 00:27
0

Привет Stu, теперь я вижу 1.9.17 НО ВСЕ мои задания cron, которые используют URLFetch, терпят неудачу, за исключением Google IO!
Andrea De Togni 22 нояб. 2014, в 09:04
0

Можете ли вы добавить строку для вывода URL-адреса, к которому он пытается получить доступ, и, возможно, ошибки cURL? Просто использует системный журнал (LOG_DEBUG, ...) для записи журнала.
Stuart Langley 23 нояб. 2014, в 08:35
0

ОК, я знаю проблему. Чтобы обойти это, найдите строку в Config.php, например, «'io_class' => self :: USE_AUTO_IO_SELECTION» и измените ее на «io_class» => «Google_Io_Stream»
Stuart Langley 23 нояб. 2014, в 09:19
0

Привет Стю, это решило проблему, спасибо. Я протестирую 1.9.17 с API MaxMind в середине следующей недели.
Andrea De Togni 23 нояб. 2014, в 09:46
0

1.9.17 НЕ устранил проблему, класс Reader MaxMind все еще говорит, что «База данных содержит поврежденные данные». ТАКЖЕ, и это намного более проблематично, поскольку 1.9.17 у меня неправильное поведение file_put_contents: некоторые из моих задач читают файл CSV (с file_read_contents), добавляют строку заголовка или манипулируют данными, а затем перезаписывают их обратно (с помощью file_put_contents). Эти записи теперь приводят к ошибке «Ошибка 10» в произвольном порядке (я не вижу ни одного шаблона с размером файла или другими характеристиками файлов - иногда один и тот же файл работает, иногда нет). Не могли бы вы вернуться к 1.9. 16?
Andrea De Togni 26 нояб. 2014, в 11:41
0

конечно - спасибо за поиск
Stuart Langley 26 нояб. 2014, в 23:03
0

Привет Стю, я видел, как ты исправил это благодаря моему комментарию в блоге G + Google App Engine. Спасибо, теперь все файлы пишутся отлично!
Andrea De Togni 27 нояб. 2014, в 08:18

Показать ещё 18 комментариев

Теги:

php

maxmind

google-app-engine

1 ответ

Ещё вопросы

Разве вы не можете поместить этот файл в свое хранилище Cloud и ссылаться на него оттуда?
Также вы знаете, что App Engine уже предоставляет заголовки GEO? HTTP_X_APPENGINE_CITY и т. Д.
Привет сту Спасибо за ваше предложение, но хранение в Storage не работает (пробовал), так как класс читателя maxmind выполняет много операций fseek, ftell с бинарными операциями, где-то в коде что-то не работает, поскольку он читает неверное число байтов и вызывает исключение , Также мне нужно найти огромное количество IP-адресов, хранящихся в таблице журнала, определение местоположения запрашивающей стороны страницы не поможет.
Есть ошибка поиска 524287, исправленная в версии 1.9.17. Предложите попробовать еще раз, когда это выйдет. Если это все еще не работает, то это все еще ошибка с нашей стороны, которую мы должны исправить. Кроме того, мы кэшируем результат чтения, поэтому он должен быть довольно быстрым, как только мы загрузим файл в первый раз.
Привет Стю, спасибо. У вас есть идентификатор ошибки и ожидаемая дата выпуска?
Скоро - пришлите мне ваш app_id, и я смогу перевезти вас, чтобы протестировать его.
ЗДРАВСТВУЙ. Это мой идентификатор приложения "appnexus-logfiles-groupm". Спасибо
Конечно, мне нужно время, чтобы изменить код. Я дам Вам знать.
Привет Стю, проверил и все тот же вопрос. Обратите внимание, что в AppEngine-> Dashboard-> Instances я все еще вижу 1.9.16, а не .17 (дайте мне знать, если вы хотите переключиться на другой метод разговора)
Аааа, да давайте иногда, что может случиться - нужно будет подождать день или около того
Привет @StuartLangley, просто чтобы сообщить вам, что после почти двух дней я все еще вижу 1.9.16
Да, была задержка до следующей недели.
Привет Stu, теперь я вижу 1.9.17 НО ВСЕ мои задания cron, которые используют URLFetch, терпят неудачу, за исключением Google IO!
Можете ли вы добавить строку для вывода URL-адреса, к которому он пытается получить доступ, и, возможно, ошибки cURL? Просто использует системный журнал (LOG_DEBUG, ...) для записи журнала.
ОК, я знаю проблему. Чтобы обойти это, найдите строку в Config.php, например, «'io_class' => self :: USE_AUTO_IO_SELECTION» и измените ее на «io_class» => «Google_Io_Stream»
Привет Стю, это решило проблему, спасибо. Я протестирую 1.9.17 с API MaxMind в середине следующей недели.
1.9.17 НЕ устранил проблему, класс Reader MaxMind все еще говорит, что «База данных содержит поврежденные данные». ТАКЖЕ, и это намного более проблематично, поскольку 1.9.17 у меня неправильное поведение file_put_contents: некоторые из моих задач читают файл CSV (с file_read_contents), добавляют строку заголовка или манипулируют данными, а затем перезаписывают их обратно (с помощью file_put_contents). Эти записи теперь приводят к ошибке «Ошибка 10» в произвольном порядке (я не вижу ни одного шаблона с размером файла или другими характеристиками файлов - иногда один и тот же файл работает, иногда нет). Не могли бы вы вернуться к 1.9. 16?
Привет Стю, я видел, как ты исправил это благодаря моему комментарию в блоге G + Google App Engine. Спасибо, теперь все файлы пишутся отлично!

CA3LE · Answer 1 · 2014-11-18T19-30-00.000Z

Используйте облегченную версию. ;) - Глядя на мой GeoLiteCity.dat, и он только 18.7MB прямо сейчас. Это может быть не идеально для вас, но для моей версии Lite эта работа выполняется... бесплатно.

Его можно скачать по адресу http://dev.maxmind.com/geoip/legacy/geolite/.