multiprocessing.Pool.imap_unordered с фиксированным размером очереди или буфера?

Я читаю данные из больших CSV файлов, обрабатываю их и загружаю в базу данных SQLite. Профилирование предполагает, что 80% моего времени тратится на ввод-вывод, а 20% обрабатывает ввод, чтобы подготовить его для вставки БД. Я ускорил шаг обработки с помощью multiprocessing.Pool, чтобы код ввода/вывода никогда не ожидал следующей записи. Но это вызвало серьезные проблемы с памятью, потому что шаг ввода-вывода не мог идти в ногу с рабочими.

Следующий пример игрушки иллюстрирует мою проблему:

#!/usr/bin/env python  # 3.4.3
import time
from multiprocessing import Pool

def records(num=100):
    """Simulate generator getting data from large CSV files."""
    for i in range(num):
        print('Reading record {0}'.format(i))
        time.sleep(0.05)  # getting raw data is fast
        yield i

def process(rec):
    """Simulate processing of raw text into dicts."""
    print('Processing {0}'.format(rec))
    time.sleep(0.1)  # processing takes a little time
    return rec

def writer(records):
    """Simulate saving data to SQLite database."""
    for r in records:
        time.sleep(0.3)  # writing takes the longest
        print('Wrote {0}'.format(r))

if __name__ == "__main__":
    data = records(100)
    with Pool(2) as pool:
        writer(pool.imap_unordered(process, data, chunksize=5))

Этот код приводит к отставанию записей, которые в конечном итоге потребляют всю память, потому что я не могу быстро сохранить данные на диске. Запустите код, и вы заметите, что Pool.imap_unordered будет потреблять все данные, когда writer находится на 15-й записи или около того. Теперь представьте, что на этапе обработки производятся словари из сотен миллионов строк, и вы можете понять, почему у меня заканчивается память. Amdahl Law в действии возможно.

Какое исправление для этого? Я думаю, мне нужен какой-то буфер для Pool.imap_unordered, который гласит: "Когда есть x-записи, которые требуют вставки, останавливаются и ждут, пока их не будет меньше x, прежде чем создавать больше". Я должен быть в состоянии получить некоторое улучшение скорости от подготовки следующей записи, пока последняя сохраняется.

Я попытался использовать NuMap из модуля papy (который я модифицировал для работы с Python 3), чтобы сделать именно это, но это было не быстрее. Фактически, это было хуже, чем запуск программы последовательно; NuMap использует два потока плюс несколько процессов.

Функции массового импорта SQLite, вероятно, не подходят для моей задачи, потому что данные требуют существенной обработки и нормализации.

У меня есть около 85G сжатого текста для обработки. Я открыт для других технологий баз данных, но выбрал SQLite для удобства использования и потому, что это однократное чтение-многозадачное задание, в котором только 3 или 4 человека будут использовать полученную базу данных после того, как все будет загружено.