Процессор (все ядра) становится бездействующим во время многопроцессорной обработки Python на Windows
Моя система - это Windows 7. Я написал программу python для анализа данных. Я использую multiprocessing библиотеку для достижения параллелизма. Когда я открываю Windows powershell и python MyScript.py. Он начинает использовать все ядра процессора. Но через некоторое время CPU (все ядра) простаивает. Но если я нажму Enter в окне powershell, все ядра вернутся к полной загрузке. Чтобы быть ясным, программа в порядке и была протестирована. Проблема здесь в том, что CPU-ядра бездействуют сами по себе.
Это произошло не только на моем офисном компьютере, на котором работает Windows 7 Pro, но и на моем домашнем рабочем столе, который работает под управлением Windows 7 Ultimate.
Параллельная часть программы очень проста:
def myfunc(input):
##some operations based on a huge data and a small data##
operation1: read in a piece of HugeData #query based HDF5
operation2: some operation based on HugeData and SmallData
return output
# read in Small data
SmallData=pd.read_csv('data.csv')
if __name__ == '__main__':
pool = mp.Pool()
result=pool.map_async(myfunc, a_list_of_input)
out=result.get()
Моя функция - это, в основном, манипуляции данными с использованием Pandas.
В программе нет ничего плохого, потому что я успешно закончил свою программу пару раз. Но я должен следить за ним и нажимать Enter когда ядра перестают работать. Работа занимает пару часов, и я действительно не смотрю ее.
Это проблема самой системы Windows или моей программы?
Кстати, могут ли все ядра иметь доступ к одной и той же переменной, хранящейся в памяти? например, у меня есть набор данных mydata читается в памяти прямо перед тем, if __name__ == '__main__': Эти данные будут использоваться в myfunc. Все ядра должны иметь доступ к mydata в одно и то же время, не так ли?
Пожалуйста помоги!
1 ответ
Я признаюсь, что не понимаю тонкости map_async, но я не уверен, что вы можете использовать его так (я не могу заставить его работать вообще)...
Я обычно использую следующий рецепт (понимание списка звонков, которые я хочу делать):
In [11]: procs = [multiprocessing.Process(target=f, args=()) for _ in xrange(4)]
....: for p in procs: p.start()
....: for p in procs: p.join()
....:
Это просто и ждет, пока работа не будет закончена, прежде чем продолжить.
Это прекрасно работает с объектами панды, если вы не делаете модификаций... (я думаю) копии объекта передаются в каждый поток, и если вы выполняете мутации, они не распространяются и будут собираться мусором.
Вы можете использовать многопроцессорную версию dict или list с классом Manager, это полезно для сохранения результата каждого задания (просто получить доступ к dict/list из функции):
mgr = multiproccessing.Manager()
d = mgr.dict()
L = mgr.list()
и у них будет общий доступ (как будто вы написали Lock). Не стоит упоминать, что если вы добавляете список, тогда заказ будет не просто таким же, как procs!
Вы можете быть в состоянии сделать что - то похожее на менеджер по объектам панд (пишущего замок к объектам в памяти без копирования), но я думаю, что это было бы нетривиальная задача...
Ещё вопросы
- 1почему event.target не запускается в следующем коде, пока работает простой обработчик события click?
- 1Добавление столбца в фрейм данных на основе ранга значений в предыдущих столбцах
- 1сборочный плагин для сборки mavenSet с транзитивными зависимостями
- 0Как издеваться над угловым сервисным методом, который принимает параметр
- 0Типы функций PHP-функций - одновременное использование атрибутов contentType и type не поддерживается
- 0TypeError: window.parent.updatepic не является функцией, когда я пытаюсь получить доступ к функции из iframe к родителю его окна
- 1Можно ли динамически назначать функции onClick кнопкам?
- 1сортировка по дате в базе данных Firebase
- 0Настройка функции углового фильтра
- 1Установка пустого значения для ввода текста
- 1Почему java.nio.SocketChannel не отправляет данные (Jdiameter)?
- 1NodeJS и веб-сокеты
- 1Аутентификация веб-приложения для REST API Backend
- 1Проблема с PIP в Ubuntu 18.04 (pkg_resources.DistributionNotFound: дистрибутив 'pip == 10.0.1' не найден и требуется приложением)
- 0Enum не был объявлен
- 0Перезаписать вывод foreach, если существует повторяющееся значение
- 1Ошибка: (29, 34) Несоответствие типов: предполагаемый тип - String? но редактируемый! ожидалось
- 1Как изменить значение атрибута стиля программно?
- 0GetSQLValueString альтернатива MySQL
- 1Как сделать номера телефонов кликабельными в текстовом представлении в Android
- 1Javascript: хорошее удобочитаемое соединение списка
- 1Рассчитать RA DEC / AZ EL точек Лагранжа, видимых с места на земле
- 1Как проверить, что сервер принимает соединения
- 1Тестирование Junit: тестирование всех возможных границ?
- 0Два элемента div должны оставаться в одном ряду
- 0Вызов href из JavaScript
- 1Использование нескольких регулярных выражений в C # web crawler [duplicate]
- 1Android - Как изменить размеры только определенных видов при изменении видимости клавиатуры
- 1Использование потоков и асинхронных задач не может предотвратить ошибку ANR.
- 1Визуализация данных: рисование появления значения в сетке
- 1Выберите / Option / Value при изменении, используя Classic ASP
- 0GCC не разрешается автоматически .cpp из класса .h include
- 1CasperJS - методы DOM не выполняются внутри функцииvalu ()
- 0Шаблонный класс C ++ с пользовательским поведением для контейнеров против примитивных типов?
- 1Неверное значение константы с использованием переменной в качестве параметра
- 1Проверка прошла успешно
- 0C ++. как читать из файла и сопоставлять с вводом
- 1Невозможно запустить тест из-за appium appiumDriver
- 0Как сохранить выбор флажка с тем же именем и идентификатором
- 0Как получить значение из неполного объекта класса в PHP?
- 1Поиск слова в списке
- 0PHP Imagick (ImageMagick) RGB> CMYK с плоским черным
- 1Где внешняя библиотека, загруженная gradle, хранится в проекте Android?
- 1TCP File Transfer - ошибка в нескольких байтах
- 1Получение определенных элементов после чтения из файла
- 0Беда с setlocale
- 1Когда люди говорят объект, когда они говорят о регулярных выражениях, что они имеют в виду (Python)
- 1Я не понимаю, как я получаю этот вывод (в цепочке операторов)
- 1Android ndk OpenGL создание защищенного контекста
- 1Контекстные переменные в Python
pool.map(), сейчас у меня действительно запущена программа, так что ... Мне было интересно, слишком ли высока температура процессора, и это защитный механизм. Параллель в моей программе - это, по сути, разрезание огромных данных на мелкие кусочки и выполнение независимых операций для каждого кусочка. Наконец присоединиться к ним. И кстати,multiprocessingне работает в Python.