вопрос сравнения многопроцессорной и витой

Появилась ситуация, когда я собираюсь анализировать сайты. каждый сайт должен иметь собственный "парсер" и, возможно, собственный способ работы с файлами cookie и т.д.

Я пытаюсь понять, что будет лучшим выбором.

Выбор I:  Я могу создать многопроцессорную функцию, в которой приложение (masterspawn) получает входной URL-адрес и, в свою очередь, охватывает процесс/функцию в приложении masterspawn, которое затем обрабатывает все настройки/выборки/разбора страницы /URL.

В этом подходе будет выполняться одно главное приложение, и оно, в свою очередь, создает несколько экземпляров внутренней функции. Должно быть быстро, да/нет?

Выбор II:  Я мог бы создать сервер "Twisted", который по сути делал бы то же самое, что и Choice I. Разница в том, что использование "Twisted" также наложило бы некоторые накладные расходы. Я пытаюсь оценить Twisted, поскольку он является "Сервером", но мне не нужно его выполнять для получения URL-адреса.

Выбор III:  Я мог бы использовать лечение. Я склонен не идти этим путем, поскольку я не хочу/не должен использовать накладные расходы, которые, по-видимому, есть. Как я уже сказал, каждому целевому URL-адресу нужна собственная функция синтаксического анализа, а также обработка файлов cookie...

Моя цель состоит в том, чтобы в основном иметь "архитектурное" решение, распространяемое по нескольким ящикам, где каждое клиентское поле взаимодействует с главным сервером, который выделяет URL-адреса для анализа.

спасибо за любые комментарии по этому поводу.

-Tom