Python FTP получить строки - проблемы с производительностью

Question

Python FTP получить строки - проблемы с производительностью

1

Я пытаюсь извлечь строки из файла через FTP-соединение, используя модуль ftplib python. Для чтения файла размером 1 Гб требуется около 10 минут. Мне было интересно, есть ли какие-то другие способы быстрее читать строки.

Я должен был включить некоторый код, чтобы показать, что я делаю:

ftp.HostName = 'xxx'
ftp.Userid = 'xxx' #so on

ftp.conn.retrlines('RETR ' + fileName, process)

bbekdemir 09 сен. 2011, в 18:03

Источник

0

Нет. Что заставляет вас думать, что ваше приложение на Python работает медленно? Вы пробовали другие FTP-клиенты и измеряли время, которое они занимают?
S.Lott 09 сен. 2011, в 15:57

Теги:

python

performance

ftp

2 ответа

Ещё вопросы

Нет. Что заставляет вас думать, что ваше приложение на Python работает медленно? Вы пробовали другие FTP-клиенты и измеряли время, которое они занимают?

Corey Goldberg · Answer 1 · 2011-09-09T13-37-00.000Z

Получение удаленных ресурсов обычно связано с вашей пропускной способностью, а протокол FTP выполняет достойную работу по ее использованию.

Вы уверены, что не насыщаете сетевое соединение? (что такое сетевая связь между клиентом, работающим с ftplib и сервером, который вы загружаете?)

Задняя часть конверта calc:

1 ГБ /10 мин = ~ 1,7 МБ/с = ~ 13 Мбит/с

Таким образом, вы загружаете 13 мегабит. Эта достойная скорость для удаленного соединения DSL/Cable/WAN, но, очевидно, довольно низкая, если все это локальная сеть.

+1 за хороший ответ. Я предлагаю вам использовать правильную прописную букву, так как это общая практика в переполнении стека.
фиксированные колпачки .. тоже привыкли к irc :)
так .retrlines('RETR ' + fileName, callback) - это самый быстрый способ получить строки?

knitti · Answer 2 · 2011-09-09T14-09-00.000Z

Можете ли вы показать пример минимального кода того, что вы делаете? FTP предназначен для транспортировки файлов, поэтому извлечение строк из удаленного файла не обязательно так же эффективно, как передача файла целиком один раз и его чтение локально.

Помимо этого, подтвердили ли вы, что вы можете быть быстрее в этом соединении?

EDIT: если вы попробуете следующее, и это не так быстро, то вы ограничены своей ОС или вашим соединением:

ftp.conn.retrbinary('RETR ' + fileName, open(temp_file_name, 'wb').write)

Предполагается, что режим текстового FTP может быть несколько менее эффективным (на стороне сервера), что может быть ложным или минимальной релевантности.