Многопроцессорная обработка Python, использование пула несколько раз в цикле, застревает после первой итерации

Question

Многопроцессорная обработка Python, использование пула несколько раз в цикле, застревает после первой итерации

1

У меня есть следующая ситуация, когда я создаю пул в цикле for следующим образом (я знаю, что это не очень элегантно, но я должен сделать это по причинам травления). Предположим, что pathos.multiprocessing эквивалентна библиотеке multiprocessing python (так как это зависит от некоторых деталей, которые не имеют отношения к этой проблеме). У меня есть следующий код, который я хочу выполнить:

self.pool = pathos.multiprocessing.ProcessingPool(number_processes)


for i in range(5):


    all_responses = self.pool.map(wrapper_singlerun, range(self.no_of_restarts))

    pool._clear()

Теперь моя проблема: цикл успешно запускает первую итерацию. Однако на второй итерации алгоритм внезапно останавливается (не pool.map операцию pool.map. Я подозревал, что процессы зомби сгенерированы или что процесс каким-то образом switched. Ниже вы найдете все, что я пробовал до сих пор.

for i in range(5):

    pool = pathos.multiprocessing.ProcessingPool(number_processes)

    all_responses = self.pool.map(wrapper_singlerun, range(self.no_of_restarts))

    pool._clear()

    gc.collect()

    for p in multiprocessing.active_children():
        p.terminate()
        gc.collect()

    print("We have so many active children: ", multiprocessing.active_children()) # Returns []

Вышеприведенный код отлично работает на моем Mac. Однако, когда я загружаю его в кластер, который имеет следующие спецификации, я получаю ошибку, которую он застревает после первой итерации:

DISTRIB_ID=Ubuntu
DISTRIB_RELEASE=18.04
DISTRIB_CODENAME=bionic
DISTRIB_DESCRIPTION="Ubuntu 18.04 LTS"

Это ссылка на файл библиотеки многопроцессорной обработки пафоса.

DaveTheAl 06 июль 2018, в 14:35

Источник

2

Привет, я автор pathos . pathos.multiprocessing предоставляет расширенный Pool двумя способами: (1) лучшая сериализация и (2) инициализация. Если вы просто ищете лучшую сериализацию, я предлагаю вам использовать pathos.pools._ProcessPool , который имеет точный интерфейс и характеристики multiprocessing , но с лучшей сериализацией. Если вы ищете другие функции pathos , вы должны знать, что пулы pathos сохраняются, если они явно не уничтожены. Вы должны выполнить pool._clear или pool.restart для пула, который вы используете выше, чтобы уничтожить (или перезапустить) пул.
Mike McKerns 06 июль 2018, в 13:28
0

1.) Спасибо за отличную библиотеку! :) 2.), я попробовал pool._clear() в приведенном выше примере (я поставил его прямо перед pool = None , а все остальное оставил прежним). Тем не менее, он говорит мне, что ._clear() не является функцией-членом pathos.multiprocessing.Pool . Я также пытался вызвать ._clear() для pathos.pools._ProcessPool , что привело к той же ошибке
DaveTheAl 06 июль 2018, в 15:19
0

Оказывается, мне пришлось использовать pathos.multiprocessing.ProcessingPool . Однако это все еще не решает проблему на компьютере с Ubuntu: /
DaveTheAl 06 июль 2018, в 19:21
1

Интерфейс в pathos.multiprocessing устарел ... предпочтительным интерфейсом является pathos.pools.ProcessPool . Этот пул должен иметь _clear и метод restart . Обратите внимание, что это тот же объект, что и pathos.multiprocessing.ProcessPool и pathos.multiprocessing.ProcessingPool ... оба из которых я оставил для обратной совместимости.
Mike McKerns 06 июль 2018, в 20:06
1

Трудно отлаживать то, что вы видите, поскольку вы не предоставили код, который могут запускать другие люди, где вы видите ошибку, которую вы видите. Вы можете сделать это? Как это трудно сказать, что вы пытаетесь сделать.
Mike McKerns 06 июль 2018, в 20:11
0

К сожалению, код довольно сложный и несколько сотен строк, вышеупомянутые строки - это суть. Я немного поработал над этой проблемой, и похоже, что это проблема операционной системы. Я подозреваю, что проблема заключается в следующем: у кластера, который я использую, есть какая-то блокировка, которая запрещает процессу запускать слишком много процессов одновременно. Я не совсем уверен, как я могу обойти эту мысль ...: /
DaveTheAl 06 июль 2018, в 20:15
1

Если это так, вы должны иметь возможность проверить теорию, ограничив число процессов в вашем пуле, вместе с выполнением clear чтобы закрыть каждый Pool в вашем цикле. Это ограничит количество активных процессов. Вы можете попробовать ProcessPool(1) или что-то в этом роде.
Mike McKerns 06 июль 2018, в 20:36
0

@MikeMcKerns Я так и сделал, и проблема действительно сохраняется. Есть идеи, что я мог сделать сейчас?
DaveTheAl 09 июль 2018, в 20:26
0

Я наблюдал за монитором памяти на предмет утечки памяти, а также пытался независимо сериализовать объекты (напрямую с помощью dill ). Это должно сказать вам, является ли это проблемой сериализации, проблемой памяти или проблемой памяти из-за сериализации.
Mike McKerns 09 июль 2018, в 20:55
0

процесс может быть разрушен изнутри. Вам необходимо проверить данные и изменить флаги. Вы должны проверить результаты при каждом последующем прогоне и перейти к следующему шагу. Завершение (условное) не может быть сделано из номера процесса (для этого используются внутренние флаги).
dsgdfg 16 июль 2018, в 08:11
0

Регистрация ошибок и счетчики процессов всегда используются в процессах. Последовательные вызовы не увеличивают производительность, а только приоритет выполнения вашего процесса. Я думаю, что друзья, которые написали модуль, упустили этот момент.
dsgdfg 16 июль 2018, в 08:15

Показать ещё 9 комментариев

Теги:

python

ubuntu

multiprocessing

python-multiprocessing

pathos

1 ответ

Ещё вопросы

Привет, я автор pathos . pathos.multiprocessing предоставляет расширенный Pool двумя способами: (1) лучшая сериализация и (2) инициализация. Если вы просто ищете лучшую сериализацию, я предлагаю вам использовать pathos.pools._ProcessPool , который имеет точный интерфейс и характеристики multiprocessing , но с лучшей сериализацией. Если вы ищете другие функции pathos , вы должны знать, что пулы pathos сохраняются, если они явно не уничтожены. Вы должны выполнить pool._clear или pool.restart для пула, который вы используете выше, чтобы уничтожить (или перезапустить) пул.
1.) Спасибо за отличную библиотеку! :) 2.), я попробовал pool._clear() в приведенном выше примере (я поставил его прямо перед pool = None , а все остальное оставил прежним). Тем не менее, он говорит мне, что ._clear() не является функцией-членом pathos.multiprocessing.Pool . Я также пытался вызвать ._clear() для pathos.pools._ProcessPool , что привело к той же ошибке
Оказывается, мне пришлось использовать pathos.multiprocessing.ProcessingPool . Однако это все еще не решает проблему на компьютере с Ubuntu: /
Интерфейс в pathos.multiprocessing устарел ... предпочтительным интерфейсом является pathos.pools.ProcessPool . Этот пул должен иметь _clear и метод restart . Обратите внимание, что это тот же объект, что и pathos.multiprocessing.ProcessPool и pathos.multiprocessing.ProcessingPool ... оба из которых я оставил для обратной совместимости.
Трудно отлаживать то, что вы видите, поскольку вы не предоставили код, который могут запускать другие люди, где вы видите ошибку, которую вы видите. Вы можете сделать это? Как это трудно сказать, что вы пытаетесь сделать.
К сожалению, код довольно сложный и несколько сотен строк, вышеупомянутые строки - это суть. Я немного поработал над этой проблемой, и похоже, что это проблема операционной системы. Я подозреваю, что проблема заключается в следующем: у кластера, который я использую, есть какая-то блокировка, которая запрещает процессу запускать слишком много процессов одновременно. Я не совсем уверен, как я могу обойти эту мысль ...: /
Если это так, вы должны иметь возможность проверить теорию, ограничив число процессов в вашем пуле, вместе с выполнением clear чтобы закрыть каждый Pool в вашем цикле. Это ограничит количество активных процессов. Вы можете попробовать ProcessPool(1) или что-то в этом роде.
@MikeMcKerns Я так и сделал, и проблема действительно сохраняется. Есть идеи, что я мог сделать сейчас?
Я наблюдал за монитором памяти на предмет утечки памяти, а также пытался независимо сериализовать объекты (напрямую с помощью dill ). Это должно сказать вам, является ли это проблемой сериализации, проблемой памяти или проблемой памяти из-за сериализации.
процесс может быть разрушен изнутри. Вам необходимо проверить данные и изменить флаги. Вы должны проверить результаты при каждом последующем прогоне и перейти к следующему шагу. Завершение (условное) не может быть сделано из номера процесса (для этого используются внутренние флаги).
Регистрация ошибок и счетчики процессов всегда используются в процессах. Последовательные вызовы не увеличивают производительность, а только приоритет выполнения вашего процесса. Я думаю, что друзья, которые написали модуль, упустили этот момент.

dilkash · Answer 1 · 2018-07-06T09-46-00.000Z

Я предполагаю, что вы пытаетесь назвать это с помощью некоторой функции, которая не является правильным способом ее использования.

Вам необходимо обернуть его:

if __name__ == '__main__':
    for i in range(5):

         pool = pathos.multiprocessing.Pool(number_processes)

         all_responses = pool.map(wrapper_singlerun, 

range(self.no_of_restarts))

Если вы этого не сделаете, он продолжит создавать свою копию и начнет вкладывать ее в стек, который в конечном итоге заполнит стек и заблокирует все. Причина, по которой он работает на Mac, заключается в том, что у нее есть fork, а в окнах ее нет.

1.) так в чем разница name == " main "? к сожалению, это не то, что я могу применить, так как мой сценарий является просто модулем для другой библиотеки, которая контролирует, как выполняются мои функции. 2.) другая платформа, на которой не запускается, это не windows, а ubuntu (как отмечено в самом конце)
Ваш основной скрипт, тот, который вы вызываете первым, должен быть заключен в предложение if name == 'main' .