Обработка текста - производительность Python и Perl

Это именно тот материал, который был разработан Perl, поэтому меня не удивляет, что он быстрее.

Одна простая оптимизация в вашем коде на Python заключалась бы в том, чтобы предварительно скомпилировать эти регулярные выражения, чтобы они не перекомпилировались каждый раз.

exists_re = re.compile(r'^(.*?) INFO.*Such a record already exists')
location_re = re.compile(r'^AwbLocation (.*?) insert into')

И затем в вашем цикле:

mprev = exists_re.search(currline)

и

mcurr = location_re.search(currline)

Это само по себе не принесет волшебство вашему Python script в соответствии с вашим Perl script, но повторное вызов re в цикле без компиляции сначала - это плохая практика в Python.

Гипотеза: Perl тратит меньше времени на обратное отслеживание в строках, которые не совпадают из-за оптимизаций, которые у Python нет.

Что вы получаете, заменив

^(.*?) INFO.*Such a record already exists

с

^((?:(?! INFO).)*?) INFO.*Such a record already 

или

^(?>(.*?) INFO).*Such a record already exists

Вызов функций немного дороже с точки зрения времени на Python. И все же у вас есть вызов функции инварианта цикла, чтобы получить имя файла внутри цикла:

fn = fileinput.filename()

Переместите эту строку выше цикла for, и вы должны увидеть некоторое улучшение для вашего времени Python. Наверное, этого недостаточно, чтобы выбить Перла.

@pepr Спасибо. Ваш код работает в течение 6,1 секунд (около 2 секунд улучшения) по сравнению с perl 1,8 секунды **

Но, мальчик, это чертовски сложно разобраться с этим код для среднего пользователя (меня).. кто, как правило, следует за быстрыми примерами от книги до фактического использования.

По сравнению с perl-кодом код python не очень помогает читабельность... но у нее просто так много циклов... и все еще как последний удар, это не даже приближаются к производительности perl. В любом случае, больше предложений приветствуются.

User@UserHP /cygdrive/d/tmp/Clipboard
# time /tmp/scripts/python/afs/process_file_pepr.py *log* *log* *log* *log* *lo
g* > summarypy_pepr.log

real    0m6.089s
user    0m5.772s
sys     0m0.155s

Я ожидаю, что Perl будет быстрее. Просто любопытно, можете ли вы попробовать следующее?

#!/usr/bin/python

import re
import glob
import sys
import os

exists_re = re.compile(r'^(.*?) INFO.*Such a record already exists', re.I)
location_re = re.compile(r'^AwbLocation (.*?) insert into', re.I)

for mask in sys.argv[1:]:
    for fname in glob.glob(mask):
        if os.path.isfile(fname):
            f = open(fname)
            for line in f:
                mex = exists_re.search(line)
                if mex:
                    xlogtime = mex.group(1)

                mloc = location_re.search(line)
                if mloc:
                    print fname, xlogtime, mloc.group(1)
            f.close()

Обновить в качестве реакции на "слишком сложно".

Конечно, он выглядит более сложным, чем версия Perl. Perl был построен вокруг регулярных выражений. Таким образом, вы вряд ли сможете найти интерпретируемый язык, который быстрее в регулярных выражениях. Синтаксис Perl...

while (<>) {
    ...
}

... также скрывает много вещей, которые нужно как-то делать на более общем языке. С другой стороны, довольно легко сделать код Python более удобным для чтения, если вы выведете нечитаемую часть:

#!/usr/bin/python

import re
import glob
import sys
import os

def input_files():
    '''The generator loops through the files defined by masks from cmd.'''
    for mask in sys.argv[1:]:
        for fname in glob.glob(mask):
            if os.path.isfile(fname):
                yield fname


exists_re = re.compile(r'^(.*?) INFO.*Such a record already exists', re.I)
location_re = re.compile(r'^AwbLocation (.*?) insert into', re.I)

for fname in input_files():
    with open(fname) as f:        # now the f.close() is done automatically
        for line in f:
            mex = exists_re.search(line)
            if mex:
                xlogtime = mex.group(1)

            mloc = location_re.search(line)
            if mloc:
                print fname, xlogtime, mloc.group(1)

Здесь def input_files() может быть помещен в другое место (например, в другом модуле), или он может быть повторно использован. Можно легко имитировать даже Perl while (<>) {...}, хотя и не так же синтаксически:

#!/usr/bin/python

import re
import glob
import sys
import os

def input_lines():
    '''The generator loops through the lines of the files defined by masks from cmd.'''
    for mask in sys.argv[1:]:
        for fname in glob.glob(mask):
            if os.path.isfile(fname):
                with open(fname) as f: # now the f.close() is done automatically
                    for line in f:
                        yield fname, line


exists_re = re.compile(r'^(.*?) INFO.*Such a record already exists', re.I)
location_re = re.compile(r'^AwbLocation (.*?) insert into', re.I)

for fname, line in input_lines():
    mex = exists_re.search(line)
    if mex:
        xlogtime = mex.group(1)

    mloc = location_re.search(line)
    if mloc:
        print fname, xlogtime, mloc.group(1)

Тогда последний for может выглядеть как простой (в принципе) как Perl while (<>) {...}. Такие улучшения чтения в Perl сложнее.

В любом случае, это не сделает программу Python быстрее. Теперь Perl будет быстрее. Perl является файловым/текстовым cruncher. Но, на мой взгляд, Python - лучший язык программирования для более общих целей.

В целом, все искусственные тесты являются злыми.. Тем не менее, при прочих равных условиях (алгоритмический подход) вы можете делать улучшения на относительной основе. Однако следует отметить, что я не использую Perl, поэтому я не могу спорить в его пользу. При этом, используя Python, вы можете попробовать использовать Pyrex или Cython для повышения производительности. Или, если вы предприимчивы, вы можете попробовать преобразовать код Python в С++ с помощью ShedSkin (который работает для большей части основного языка и некоторые, но не все, из основных модулей).

Тем не менее, вы можете следить за приведенными здесь советами:

http://wiki.python.org/moin/PythonSpeed/PerformanceTips