Оптимизация сценариев командной строки php для обработки больших плоских файлов

Несколько важных рекомендаций по дизайну для такой задачи:

Не читайте весь файл сразу в памяти. Используйте указатель файла и читайте в разумных кусках (скажем, несколько килобайт.. зависит от среднего размера записи). Затем обрабатывайте каждую запись и выгружайте буфер. Я не уверен в вашем описании, делаете ли вы это сейчас или нет.

Если ваш тип хранилища mysql поддерживает транзакции (таблица должна быть InnoDB), вы можете использовать их для оптимизации. Начать транзакцию и процесс f.ex. 100 тыс. Строк, затем выполнить флеш, совершив транзакцию и открыв новую. Это работает, потому что MySql будет обновлять индекс только один раз, а не для каждой строки.

Другой вариант - использовать объемную вставку. Если ваша база данных не является локальной (например, вы подключаетесь по сети), это может привести к повышению. Я думаю (не уверен, хотя) он также дает те же преимущества, что и транзакции - возможно, даже для таблиц MyIsam.

Наконец, если ничего не работает, вы можете удалить php из уравнения и использовать LOAD DATA INFILE. Возможно, вам придется предварительно обработать файл сначала, используя php или какой-либо другой язык обработки текста (awk или sed имеют очень хорошие профили производительности)

Время, которое вы тратите, похоже на разные машины, может быть связано с связью между PHP script и сервером MySQL: для каждого запроса MySQL:

• вы создаете запрос в PHP script (зависит от мощности машины, но очень быстро)
• вам необходимо отправить этот запрос на сервер MySQL (через сеть или локальный сокет; требуется время)
• сервер MySQL должен иметь дело с данными (хранить их, создавать индексы, использовать блокировки для безопасности,...)
• Ответ ( "ok", вставленные данные) должен вернуться к PHP (такой же: сеть или сокет, т.е. медленный)
• и он делает все это каждый раз.

Что занимает время, вероятно, на самом деле не на стороне PHP; скорее всего, это между PHP и MySQL - и, возможно, вы ничего не сможете с этим сделать.

Если у вас достаточно мощная машина, я бы предложил следующее:

• разделите ваши данные в X (не слишком человек, скажем, X = 6).
• измените свой PHP script, чтобы вы могли запускать его 6 раз параллельно, указав в качестве параметра номер части, на которой он должен работать.
• Запустите script 6 раз.

Первое параллельное выполнение script будет обрабатывать в 6 раз меньше данных; то же самое для других... И они будут работать параллельно... Итак, в конце концов, весь процесс займет, может быть, в 4 раза меньше времени: -)

Вероятно, это не займет в 6 раз меньше времени: работа с параллелизацией означает добавление некоторой нагрузки на машину и что MySQL будет иметь некоторые запросы в concurrency - но только с несколькими параллельными процессами, это будет хорошо.

В качестве побочного примечания: делать это с PHP может и не самое лучшее. Вот еще один способ, о котором я могу думать:

• используйте script (например, PHP или Perl или оболочку или что-то еще), чтобы:
  • прочитать входные файлы
  • генерировать запросы на вставку (но не отправлять серверу MySQL)
  • пишите эти запросы в файл
• когда весь запрос на миллионы строк находится в файле:
  • запустите, одним выстрелом, этот файл в MySQL.
  • что-то подобное в командной строке: "mysql --host=HOST --user=USER --password=PASSWORD DATABASE_NAME < inserts-commands.sql"

Таким образом, просто убедитесь, что SQL-запросы в файле в порядке, а затем MySQL импортирует все за один снимок: вам не нужно переходить с PHP на MySQL для каждого запроса - он должен идти очень быстро.

Надеюсь, это поможет, получайте удовольствие!

Кроме optmizations из script, вы предложите попробовать любой ускоритель PHP (например: eaccelerator.net). Если это не поможет, я бы предложил использовать язык/платформу, созданную для таких задач.

Как почти каждый другой ответ указывает. PHP менее идеален для такого рода обработки.

Особенно сейчас, когда HADOOP и др. существенно сделали этот конкретный тип задач полностью параллельным в облаке.

Но кому-то, возможно, понадобится использовать PHP для обработки больших файлов, как я.

Учитывая это, я должен отметить, что новый инструмент Facebook xhprof отлично работает в командной строке.

Если вы отправите ему следующую команду:

xhprof_enable(XHPROF_FLAGS_CPU + XHPROF_FLAGS_MEMORY );

Вы можете легко увидеть, какой конкретный раздел вашего собственного кода занимает столько времени.

HTH, кто-то еще обречен на продолжение круговой привязки через квадратную привязку ко мне.

-Ft