Потоковая или асинхронная обработка изображений?

Question

Потоковая или асинхронная обработка изображений?

1

У меня есть функция Python, которая генерирует изображение после его доступа. Я могу либо вызвать его непосредственно по HTTP-запросу, либо сделать это асинхронно с помощью Gearman. Есть много запросов.

Какой способ лучше:

Inline - создание встроенного изображения, приведет к созданию сразу нескольких изображений
Асинхронный - задания очереди (с Gearman) и генерация изображений в рабочем

Какой вариант лучше?

В этом случае "лучше" будет означать лучшие комбинации скорости/нагрузки. Пример генерации изображения является символическим, так как это также можно применять к соединениям с базой данных и другими вещами.

Kristina Brooks 30 янв. 2011, в 18:46

Источник

0

Это зависит от того, сколько времени занимает создание 1 изображения? Если это время мало, вы получите лучшие результаты обработки на той же машине.
arthurprs 30 янв. 2011, в 17:09
0

Под «отдельным работником» вы подразумеваете отдельный процесс или отдельную машину? Обработка выполняется кодом Python, нативно скомпилированным модулем Python или чем-то еще? Ответы на эти вопросы влияют на эффективность, которую вы можете ожидать от различных вариантов.
ʇsәɹoɈ 30 янв. 2011, в 17:21
0

Поменял это. Теперь имеет больше смысла.
Kristina Brooks 30 янв. 2011, в 17:34
0

Я обновил свой ответ, потому что, полагаю, мне лучше ответить на ваши вопросы сейчас?
Alfred 31 янв. 2011, в 15:25

Показать ещё 2 комментария

Теги:

python

asynchronous

gearman

2 ответа

1

Если ваша программа связана с ЦП в интерпретаторе, то размножение нескольких потоков фактически замедлит результат, даже если для их работы достаточно процессоров. Это происходит потому, что GIL (глобальная блокировка интерпретатора) позволяет только одному потоку запускаться в интерпретаторе за раз.

Если большая часть работы происходит в библиотеке C, вероятно, блокировка не удерживается, и вы можете продуктивно использовать несколько потоков.

Если вы сами порождаете темы, вам нужно будет не создавать слишком много - потоки 10K в одном случае будут плохими новостями - так что вам нужно будет настроить рабочую очередь, с которой потоки будут прочитаны, а не просто нереститься их в петлю.

Если бы я делал это, я бы просто использовал стандартный многопроцессорный модуль.

Adam Hupp 30 янв. 2011, в 15:01

Ещё вопросы

Это зависит от того, сколько времени занимает создание 1 изображения? Если это время мало, вы получите лучшие результаты обработки на той же машине.
Под «отдельным работником» вы подразумеваете отдельный процесс или отдельную машину? Обработка выполняется кодом Python, нативно скомпилированным модулем Python или чем-то еще? Ответы на эти вопросы влияют на эффективность, которую вы можете ожидать от различных вариантов.
Поменял это. Теперь имеет больше смысла.
Я обновил свой ответ, потому что, полагаю, мне лучше ответить на ваши вопросы сейчас?

Alfred · Accepted Answer · 2011-01-30T23-07-00.000Z

У меня есть функция Python, которая генерирует изображение, когда оно доступ. Я могу либо вызвать его непосредственно по HTTP-запросу или сделать это асинхронно используя Gearman. Там есть много запросов.

Вы не должны делать это внутри запроса, потому что тогда вы не можете дросселировать (ваш сервер может перегрузить). Все крупные сайты используют очередь сообщений для обработки в автономном режиме.

Какой вариант лучше?

В этом случае "лучше" будет означать наилучшая комбинация скорости/нагрузки. примером генерации изображения является символическим, поскольку это также может быть применяется к соединениям с базой данных и другие вещи.

Вы должны сделать это асинхронно, потому что самая веская причина сделать это, кроме того, ускоряет работу вашего сайта, так это то, что вы можете дросселировать свою очередь, если находитесь на высокой нагрузке. Сначала вы можете выполнить задачи с наивысшим приоритетом.

Я считаю, что процессы forking стоят дорого. Я бы создал пару рабочих процессов (возможно, немного порезался внутри процесса) для обработки нагрузки. Я бы использовал redis, потому что он быстро, активно развивается (antirez/pietern совершает почти каждый день) и имеет очень хорошую/стабильную клиентскую библиотеку python, blpop/rpush можно использовать для имитации очереди (задания)