Оптимизирован поиск в Python по списку

filter(test1, filter(test2, filter(test3, the_list)))

Во-первых, это время O (n), а не O (n ^ 3). Время добавляется не умножается. Единственное, что может быть хуже, это то, что если test3/test2/test1 делают что-то странное, в котором мы должны смотреть на них.

Если мы предположим, что каждый тест? функция принимает 10 мс, то мы имеем 10 * 3 * 10 ^ 5 мс = 50 минут. Если бы это было n ^ 3, то мы имели бы (10 * 10 ^ 5) ^ 3 = 31 миллион лет. Я уверен, что вы всего лишь одно линейное время, у вас просто тонна данных.

Замените фильтр с помощью itertools.ifilter, это позволит избежать создания списка. Вместо этого python вытаскивает один элемент из списка за один раз, передает его через три теста и передает его вам, если и только если он пройдет. Это позволит избежать необходимости в памяти и, вероятно, быстрее.

Вы не сможете улучшить время O (n), если не используете некоторые методы индексирования. Однако применимость методов индексирования зависит от того, что вы делаете внутри функций test1/test2/test3. Если вам нужна помощь в этом, покажите пример для этих функций.

Как отмечали другие, база данных была разработана для решения этих проблем. Вы можете сделать это быстрее только для того, чтобы плохо повторить, какие базы данных уже делают для вас.

Мне кажется, что одним из типичных решений будет использование запроса к базе данных. Либо SQL (raw или с каким-то ORM), либо какая-то база данных объектов, возможно, MongoDB?

Если ваши данные находятся в CSV файле, вы можете попробовать sql2csv: https://sourceforge.net/projects/sql2csv/.

РЕДАКТИРОВАТЬ: Простите мою раннюю начальную старость, я имел в виду этот проект: https://github.com/ccoffey/sql4csv/wiki/Examples.

10 ^ 5 - это не очень большое количество объектов, даже в памяти. littletable - это небольшой модуль, который я написал как эксперимент для моделирования запросов, опорных точек и т.д., используя только Python dicts. Одна приятная вещь о нерешимых запросах заключается в том, что результат любого запроса или соединения сам по себе является новой таблицей с неограниченным доступом. Индексы сохраняются в виде dicts объектов keys-> table, а индексные ключи могут быть определены как уникальные или нет.

Я создал таблицу из 140K объектов с 3 однобуквенными клавишами, а затем запросил конкретный ключ. Время для создания самой таблицы было самым длинным, индексирование и запрос довольно быстро.

from itertools import product
from littletable import Table,DataObject

objects = Table()
alphas = "ABCDEFGHIJKLMNOPQRSTUVWXYZ"
alphas += alphas.lower()
import time

print "building table", time.time()
objects.insert_many(
    DataObject(k1=k1, k2=k2, k3=k3, created=time.time())
        for k1,k2,k3 in product(alphas.upper(),alphas,alphas)
    )
print "table complete", time.time()
print len(objects)

print "indexing table", time.time()
for k in "k1 k2 k3".split():
    objects.create_index(k)
print "index complete", time.time()

print "get specific row", time.time()
matches = objects.query(k1="X", k2="k", k3="W")
for o in matches:
    print o
print time.time()

Печать:

building table 1309377011.63
table complete 1309377012.52
140608
indexing table 1309377012.52
index complete 1309377012.98
get specific row 1309377012.98
{'k3': 'W', 'k2': 'k', 'k1': 'X', 'created': 1309377011.9960001}
{'k3': 'W', 'k2': 'k', 'k1': 'X', 'created': 1309377012.4260001}
1309377013.0

Объедините значения атрибутов для каждого объекта, чтобы создать уникальные ключи. Возможно, вам придется наклеить атрибуты на одну длину, чтобы гарантировать уникальность. Постройте хеш-таблицу, чтобы вернуть объект, соответствующий ключу.