Как ограничить использование памяти внутри процесса Python

Question

Как ограничить использование памяти внутри процесса Python

18

Я запускаю Python 2.7 на Linux-машине с 16 ГБ оперативной памяти и 64-разрядной ОС. Питон script, который я написал, может загружать слишком много данных в память, что замедляет работу машины до такой степени, что я больше не могу даже убить процесс.

Пока я могу ограничить память, вызывая:

ulimit -v 12000000

в моей оболочке перед запуском script, я хотел бы включить ограничение в самом script. Всюду, где я смотрел, модуль resource цитируется как имеющий ту же мощность, что и ulimit. Но вызов:

import resource
_, hard = resource.getrlimit(resource.RLIMIT_DATA)
resource.setrlimit(resource.RLIMIT_DATA, (12000, hard))

в начале моего script ничего не делает. Даже если значение, равное 12000, никогда не разбивало процесс. Я пробовал то же самое с RLIMIT_STACK, а также с тем же результатом. Любопытно, вызывая:

import subprocess
subprocess.call('ulimit -v 12000', shell=True)

ничего не делает.

Что я делаю неправильно? Я не нашел реальных примеров использования в Интернете.

Arne Recknagel 15 май 2015, в 23:59

Источник

0

Есть ли место для повышения эффективности использования программы?
TigerhawkT3 15 май 2015, в 21:47
1

Есть, но это займет некоторое время. На данный момент мне нужно проверить его и убедиться, что он не выключает компьютер. И наличие отказоустойчивой памяти будет полезно позже.
Arne 15 май 2015, в 22:01
1

Поскольку это в Python 2.7, как насчет перехода на Python 3 и использования конвертера 2-в-3 в вашей программе? Python 3 имеет несколько улучшений производительности по сравнению с Python 2, некоторые из которых связаны с памятью.
TigerhawkT3 15 май 2015, в 22:05
1

Я сделаю это - но на данный момент мне просто любопытно, работает ли ограничение памяти в python.
Arne 15 май 2015, в 22:38
0

ты не можешь контролировать то, что загружаешь в память? Я имею в виду, это не ВАШ сценарий?
oxymor0n 15 май 2015, в 22:42
0

Он подключен к постоянному потоку (из Twitter Streaming API), поэтому .. управление не является тривиальным. Я буду контролировать это в какой-то момент, но сейчас я просто хочу, чтобы он не разбился.
Arne 16 май 2015, в 13:33
3

Эта проблема постоянно возникает в интерактивном анализе данных - вы загружаете большой массив (скажем, 8 ГБ) и начинаете свою работу. Затем вы непреднамеренно возводите в квадрат массив (опечатка в вашем коде или неправильно понимаете API и т. Д.), И теперь скрипт запрашивает 64 ГБ, и система зависает. : P Вы бы скорее убили процесс, чем перезагрузили компьютер.
Gordon Bean 02 окт. 2015, в 18:37

Показать ещё 5 комментариев

Теги:

python

linux

memory

ulimit

1 ответ

Ещё вопросы

Есть ли место для повышения эффективности использования программы?
Есть, но это займет некоторое время. На данный момент мне нужно проверить его и убедиться, что он не выключает компьютер. И наличие отказоустойчивой памяти будет полезно позже.
Поскольку это в Python 2.7, как насчет перехода на Python 3 и использования конвертера 2-в-3 в вашей программе? Python 3 имеет несколько улучшений производительности по сравнению с Python 2, некоторые из которых связаны с памятью.
Я сделаю это - но на данный момент мне просто любопытно, работает ли ограничение памяти в python.
ты не можешь контролировать то, что загружаешь в память? Я имею в виду, это не ВАШ сценарий?
Он подключен к постоянному потоку (из Twitter Streaming API), поэтому .. управление не является тривиальным. Я буду контролировать это в какой-то момент, но сейчас я просто хочу, чтобы он не разбился.
Эта проблема постоянно возникает в интерактивном анализе данных - вы загружаете большой массив (скажем, 8 ГБ) и начинаете свою работу. Затем вы непреднамеренно возводите в квадрат массив (опечатка в вашем коде или неправильно понимаете API и т. Д.), И теперь скрипт запрашивает 64 ГБ, и система зависает. : P Вы бы скорее убили процесс, чем перезагрузили компьютер.

ivan_pozdeev · Accepted Answer · 2015-05-15T23-42-00.000Z

resource.RLIMIT_VMEM - это ресурс соответствующий ulimit -v.

RLIMIT_DATA влияет только на brk/sbrk системные вызовы, тогда как более новые менеджеры памяти обычно используют mmap вместо.

Во-вторых, ulimit/setrlimit влияет только на текущий процесс и его будущих детей.

Относительно сообщения AttributeError: 'module' object has no attribute 'RLIMIT_VMEM': resource docs упоминают эту возможность:

Этот модуль не пытается маскировать различия в платформе - символы не определен для платформы, не будет доступен из этого модуля на этой платформы.

В соответствии с bash ulimit source, связанным с выше, он использует RLIMIT_AS, если RLIMIT_VMEM не определен.

Я не использую многопоточность, поэтому я надеюсь, что это не проблема. Но когда я ввожу RLIMIT_DATA , я получаю следующее сообщение об ошибке: Traceback (most recent call last): File "my_script.py", line 417, in <module> sys.exit(main()) File "my_script.py", line 391, in main _, hard = resource.getrlimit(resource.RLIMIT_VMEM) AttributeError: 'module' object has no attribute 'RLIMIT_VMEM' Из списка, на который вы ссылаетесь, все поля могут быть найдены - кроме этого. Я пытаюсь запустить его с Python 3.x прямо сейчас ..