Python & Amazon EC2 - использовать все вычислительные устройства?

Question

Python & Amazon EC2 - использовать все вычислительные устройства?

1

Я создаю научное приложение на Python и рассматриваю использование Amazon EC2 для запуска процесса.

Мое приложение - это как память, так и процессорный голод, и выгода из любых ресурсов, предоставленных ему.

An Extra Large Instance EC2 дает около 15 ГБ памяти вместе с 8 вычислительными единицами.

Мой вопрос в том, может ли один Python script (при запуске на EC2) использовать все 8 вычислительных единиц? Или я должен запустить 8 независимых процессов, чтобы полностью использовать 8 вычислительных единиц?

Примечание: в случае, если это имеет значение, я планирую использовать экземпляр Linux на EC2.

user3262424 05 июнь 2011, в 20:29

Источник

Теги:

python

amazon-ec2

2 ответа

4

Python имеет GIL, что делает его сложным для записи multi- многопоточных приложений, которые полностью используют более одного ядра. Вы можете прочитать об этом здесь Как работают потоки в Python и какие общие Python- потоки конкретных ловушек? или здесь http://www.dabeaz.com/python/UnderstandingGIL.pdf, если вы действительно входите в детали. Я использую только потоки Python, чтобы использовать фоновый режим для различных задач (например, для связи), а не для оптимальной производительности.

Как сказал Джереми, использование многопроцессорного модуля является альтернативным вариантом, или вы можете просто написать свой script, чтобы он работал с независимыми частями ваших данных, а затем запустил, однако, много копий, которые вы предпочитаете.

Jan 05 июнь 2011, в 15:34

0

благодарю вас. Похоже, что лучше запускать 8 разных процессов, каждый из которых взаимодействует с разными частями данных. Это отлично. Тем не менее, все они должны будут совместно использовать / обновлять один и тот же кусок памяти. В python , как мне предоставить всем 8 процессам доступ к одному и тому же куску памяти?
user3262424 05 июнь 2011, в 18:28
0

«Сложно писать многопоточные приложения, в которых полностью используется более одного ядра». Чтобы пояснить, легко писать многопроцессорные сценарии и, как правило, нецелесообразно писать многопоточные сценарии.
mgoldwasser 08 июль 2014, в 19:03

Ещё вопросы

благодарю вас. Похоже, что лучше запускать 8 разных процессов, каждый из которых взаимодействует с разными частями данных. Это отлично. Тем не менее, все они должны будут совместно использовать / обновлять один и тот же кусок памяти. В python , как мне предоставить всем 8 процессам доступ к одному и тому же куску памяти?
«Сложно писать многопоточные приложения, в которых полностью используется более одного ядра». Чтобы пояснить, легко писать многопроцессорные сценарии и, как правило, нецелесообразно писать многопоточные сценарии.

Jeremy · Accepted Answer · 2011-06-05T15-57-00.000Z

3

Лучший ответ

8 "вычислительных единиц" работают через 4 физических процессора, поэтому простой script сможет использовать только 25% доступной мощности. Тем не менее, модуль Python multiprocessing позволяет вам написать один script, используя несколько процессов, потенциально используя все "вычислительные единицы" ".

Jeremy 05 июнь 2011, в 15:57

0

@ Джереми Бэнкс: спасибо. Мое приложение требует, чтобы все «вилки» - при выполнении своих собственных задач - взаимодействовали / манипулировали одним и тем же фрагментом памяти. Возможно ли это при использовании multiprocessing ?
user3262424 05 июнь 2011, в 18:14
0

Существует API для взаимодействия между процессами или с использованием общей памяти. Прочитайте docs.python.org/library/multiprocessing.html
Jan 05 июнь 2011, в 18:21
0

@Jan / @Jeremy: для целей совместного использования памяти лучше использовать multiprocessing или, в качестве альтернативы, определить привод RAM Linux и обеспечить взаимодействие всех независимых процессов с ним?
user3262424 05 июнь 2011, в 18:42
0

Я никогда не использовал оперативные диски для этой цели, поэтому я не могу дать вам однозначный ответ, извините. Я думаю, что новые ядра Linux предлагают / dev / shm, который является простым в использовании ramdisk. Вообще говоря, я думаю, что основное отличие заключается в простоте использования: использование Python API избавляет вас от необходимости выполнять синхронизацию с большим количеством ручного ввода-вывода файлов. Вы также можете просмотреть общую память Ctypes или необработанную общую память, если она вам подходит; Есть много вариантов, и, не зная больше о вашей проблеме, мне трудно быть конкретным. Сам, наверное, начну с простого пути :)
Jan 05 июнь 2011, в 19:17
0

@Jan: спасибо. easy way python ? или лучше просто определить один RAM-диск и иметь несколько независимых экземпляров (где каждый использует различное подмножество данных).
user3262424 05 июнь 2011, в 19:50
0

Я бы сказал, что простой способ и путь Python идентичны в этом случае ... т.е. я бы сначала попытался использовать функциональность многоадресного модуля связи / shared_memory.
Jan 06 июнь 2011, в 10:50
0

Ок, отлично. Спасибо за вашу помощь.
user3262424 06 июнь 2011, в 13:48

Показать ещё 5 комментариев