Сортировать огромный JSON-файл, используя bash или python

Что бы это ни стоило, я создал тестовый сценарий над файлом data.json.gz содержащим 1 000 000 объектов, записанных вплотную в data.json.gz напечатанном JSON (то есть каждый объект занимает несколько строк). Файл данных имеет размер 160 МБ в несжатом виде и содержит такие объекты:

{
  "ps": "000F56EN9H",
  "d": 22556399,
  "w": "RiYZLaWsSYcCtAoGxhZFSFFLthBurISXwmnAVFtKcuErEuumIzkWCuCtWTBAQJosmtIRrLyPbEDwjtWmsZPZDuYtshPGPrlmPDoy"
}

В моей системе я мог читать из файла .gz и разбивать его на строки, содержащие по одному объекту в Python, со скоростью около 250 000 объектов в секунду.

def get_obj_strings():
    with gzip.open(GZ_PATH, 'rt', encoding='ascii', newline=None) as f:
        remainder = ''
        while True:
            chunk = f.read(CHUNK_SIZE)
            if not chunk:
                break

            chunk = remainder + chunk
            start = 0

            while True:
                end = chunk.find('\n}\n', start)
                if end > -1:
                    yield [chunk[start:end + 3]]
                    start = end + 3
                else:
                    break

            remainder = chunk[start:]

• Обязательно используйте encoding которая есть в вашем текстовом файле,
• Я использовал CHUNK_SIZE размером 1 МБ, вы также можете поэкспериментировать с этим.

При сохранении этих элементов в базе данных SQLite...

def init_data_json_db(conn):
    conn.executescript('''
    DROP TABLE IF EXISTS data;
    CREATE TABLE data (obj TEXT);
    PRAGMA synchronous=OFF;
    ''')
    conn.commit()

... скорость немного замедлилась, до 150 000 объектов в секунду. Я ожидаю, что производительность в значительной степени зависит от того, сколько отдельных объектов у вас есть.

def load_data_json_db(conn, records):
    print("Loading data from %s to %s..." % (GZ_PATH, DB_PATH))
    t0 = time.time()

    init_data_json_db(conn)

    conn.executemany('INSERT INTO data (obj) VALUES (?);', records)
    conn.commit()
    seconds_taken = time.time() - t0

    result = next(conn.execute('SELECT COUNT(*) FROM data;'))
    rows_per_second = result[0] / max(seconds_taken, 0.00000000001)
    print("Loaded %s records loaded in %1.1f s. (%1.0f/s)" % (result[0], seconds_taken, rows_per_second))

В целом, потоковая передача 160 МБ /1 000 000 элементов в SQLite занимает у меня около 7 секунд, YMMV. Потоковая передача 10 ГБ данных займет пропорционально больше времени.

Сортировка данных в SQL по ключу ps занимает около 2 секунд. На производительность сортировки влияет длина ключа.

D:\> sqlite3.exe "data.json.db"
sqlite> .timer on
sqlite> SELECT obj FROM data ORDER BY json_extract(obj, '$.ps') LIMIT 1;
{
  "ps": "0000CNJIN3",
  "d": 52857163,
  "w": "AixNrVQkagXevocrSoTlJzdZmUBFlgRlArCXPcHTXHMlJeCWQmWlEWosyDhgeHdpfyJhrXLOvhWrCkaldKLkvPJhWeTdbETHMhtg"
}

Run Time: real 2.176 user 1.731611 sys 0.421203

Разумно предположить, что загрузка данных будет быстрее, если вместо Python используется команда .import CLI sqlite, но для этого требуется, чтобы каждый объект находился на отдельной строке (т. .import Входные данные фактически превращаются в CSV с одним столбцом).

gifcat выходных данных gifcat через sed для удаления лишних символов новой строки, а затем прямая sqlite3 в sqlite3 может сработать, попробуйте и сравните.

После этого вы можете использовать интерфейс командной строки sqlite3 чтобы экспортировать отсортированный результат запроса прямо в файл, возможно, снова сжав его в процессе, так что можно полностью обойти Python и сделать все это в сценарии оболочки.

Стоит подумать о сохранении базы данных SQLite в качестве хранилища данных вместо простого текстового файла. Он только немного больше, чем текстовый файл, но гораздо более универсален.