Python asyncore: «filedescriptor вне диапазона в select ()»

Question

Python asyncore: «filedescriptor вне диапазона в select ()»

1

У меня есть скрипт python с более чем 3k исходящими соединениями сокетов, основанный на asyncore lib. Я не могу использовать select (..) из-за ограничений соединений (1024), но опрос (..) тоже не работает должным образом:

asyncore.loop(use_poll=True)

При этом вызове мое приложение игнорирует любые события сокета. Обратите внимание, что select() на менее чем 1024 сокетах работает нормально.

Где моя проблема?

Pavel Kirienko 03 нояб. 2011, в 16:06

Источник

1

заголовок вашего поста предполагает, что вы получили исключение. как насчет добавления трассировки стека к вашему вопросу?
Roshan Mathews 03 нояб. 2011, в 15:42
0

Хорошо, stacktrace здесь: pastebin.com/WQEKtHHY Но это не связано с моим вопросом.
Pavel Kirienko 03 нояб. 2011, в 15:59
0

Это звучит как вопрос ОС. На любой UNIX-подобной ОС вы можете увеличить максимальное количество открытых сокетов с помощью параметра конфигурации и перезагрузиться. В Windows это также должно быть возможно, по крайней мере, для версий сервера.
Michael Dillon 03 нояб. 2011, в 20:22
2

Нет, это не проблема ограничения ресурсов - select () просто не может обработать более 1024 сокетов ( stackoverflow.com/questions/5357445/select-max-sockets ). Моя проблема заключается в том, что «мое приложение игнорирует любые события сокетов с помощью poll ()».
Pavel Kirienko 04 нояб. 2011, в 11:43

Показать ещё 2 комментария

Теги:

python

linux

sockets

asynchronous

asyncore

1 ответ

Ещё вопросы

заголовок вашего поста предполагает, что вы получили исключение. как насчет добавления трассировки стека к вашему вопросу?
Хорошо, stacktrace здесь: pastebin.com/WQEKtHHY Но это не связано с моим вопросом.
Это звучит как вопрос ОС. На любой UNIX-подобной ОС вы можете увеличить максимальное количество открытых сокетов с помощью параметра конфигурации и перезагрузиться. В Windows это также должно быть возможно, по крайней мере, для версий сервера.
Нет, это не проблема ограничения ресурсов - select () просто не может обработать более 1024 сокетов ( stackoverflow.com/questions/5357445/select-max-sockets ). Моя проблема заключается в том, что «мое приложение игнорирует любые события сокетов с помощью poll ()».

Jean-Paul Calderone · Accepted Answer · 2011-12-06T13-08-00.000Z

Во-первых, незначительная коррекция. use_poll=True не вызывает asyncore для использования epoll (2). Это заставляет его использовать опрос (2) (более того, как работает asyncore, нет смысла пытаться использовать epoll (2), потому что накладные расходы на уровне Python asyncore перегружают любую стоимость используемого API уведомления о событиях сокета),

Во-вторых, основным недостатком asyncore является то, насколько он предоставляет вам специфические особенности платформы. Для библиотеки, которая обрабатывает больше различий между select (2) и poll (2) для вас и которая на самом деле поддерживает epoll (2), и которая лучше подходит для многих других способов, проверьте Twisted.

Если вы можете добавить более подробную информацию к своему вопросу, возможно, конкретная проблема, с которой вы сталкиваетесь в asyncore, может быть обнаружена, но на основе имеющейся информации теперь нет способа быть уверенным. Самые основные функции поддержки asyncore poll (2) действительно работают, т.е. Могут передавать сообщения чтения, записи и закрытия в тривиальный случай. Как ваше дело отличается от тривиального случая?

"use_poll = True не вызывает асинхронное использование epoll" - да, извините, я имел в виду poll (). Мне просто нужно обработать около 3000 сокетов одним скриптом, производительность не имеет значения. Вот мой код: pastebin.com/ttu7LJJv . Я был бы рад увидеть простой рабочий пример asyncore с poll (). Благодарю.
И, собственно говоря, проблема больше не актуальна, но я все же хочу ее понять.
Возникает ли проблема при использовании spin_once, spin или spin_all? У вас есть простой сервер, к которому он может подключиться (возможно, я смогу его создать, но было бы проще не делать этого :).
Извините, что так долго отвечал. Я нашел причину моей проблемы (это заняло всего 10 минут экспериментов), посмотрите: pastebin.com/yYawd9cy , особенно две последние строки кода. Как видите, poll () asyncore не работает с явно указанной картой. Оригинальная версия находится здесь: docs.python.org/release/2.5.2/lib/asyncore-example.html .
Ну, я все поняла. pastebin.com/TtE9wSSm , посмотрите asyncore.dispatcher .__ init __ (self, map = mymap). Моя проблема была в неправильной инициализации карты асинкоров (эта точка плохо документирована). Благодарю.