PHP читает текстовые файлы очень медленно

Question

PHP читает текстовые файлы очень медленно

0

У меня есть большое количество файлов в каталоге, и я использую php для чтения строки. Например, путь к файлу выглядит так: filerootdir/dir1/dir2/dir3/dir4/dir5/dir6/file.txt.

У меня есть миллион таких файлов txt. Основываясь на другом параметре, php будет читать txt файл и отображать его как часть веб-страницы. Я тестирую php-программу на Windows 7 Pro прямо сейчас. Когда абсолютный путь файла короткий, например filerootdir/dir1/file.txt, он довольно быстро загружается. Но когда абсолютный путь длинный, он ОЧЕНЬ медленный. Мне интересно, есть ли лучшее решение этой проблемы.

Я тестирую свою программу под Windows WAMP, но позже она будет перенесена в LAMP. Будет ли программа загрузки файлов быстрее работать на серверах Linux? Это может быть проблемой операционной системы Windows?

Код, который я использую, выглядит следующим образом:

if (file_exists($filePath.".html")) {
        $code = file_get_contents($filePath.".html");
}

Огромное спасибо!

Ryan 07 янв. 2015, в 04:04

Источник

1

Покажите нам коды, и мы могли бы сказать.
Raptor 07 янв. 2015, в 02:08
0

Код @Raptor добавлен, спасибо большое!
Ryan 07 янв. 2015, в 02:10
1

как предположение: отключите любое антивирусное программное обеспечение для тестирования (если оно установлено)
Alex 07 янв. 2015, в 02:15
1

Я бы не ожидал, что это будет работать медленно. Что происходит, когда вы запускаете в командной строке type filerootdir/dir1/dir2/dir3/dir4/dir5/dir6/file.txt ? Это тоже медленно? Что делать, если вы делаете тот же код, но с совершенно другим путем? Есть ли миллионы файлов в этом каталоге или они распределены по многим каталогам?
AMADANON Inc. 07 янв. 2015, в 02:16
0

@AMADANONInc. Это не медленно, когда я набираю команду. У меня есть 5000 каталогов в filerootdir /, некоторые содержат тысячи файлов, некоторые содержат только несколько. + обновление спасибо за ваш комментарий. Я просто снова тестирую несколько разных страниц. Кажется, что когда каталог содержит больше файлов, он медленный, если он содержит меньше, он быстрее. Есть ли в этом смысл?
Ryan 07 янв. 2015, в 02:20
1

Можно ли изменить структуру каталогов?
mopo922 07 янв. 2015, в 02:24
0

@ mopo922 иерархия каталогов используется (показано пользователю), не может измениться.
Ryan 07 янв. 2015, в 02:27
1

Я знаю, что Linux имеет определенное количество файлов в каталоге; если вы перейдете по этому номеру, любой доступ к этому каталогу сильно замедлится.
AMADANON Inc. 07 янв. 2015, в 02:27
0

@AMADANONInc. Очень интересно! Какое магическое число? примерно?
Ryan 07 янв. 2015, в 02:28
0

Я не знаю - у меня был гугл, но я не смог найти ничего конкретного.
AMADANON Inc. 07 янв. 2015, в 02:31
1

Я не думаю, что путь вызовет большую разницу ... возможно, вы могли бы проверить, совпадают ли номера файлов в более длинном пути и в более коротком пути. Возможно, число файлов в более длинном пути слишком много ... и более короткий путь содержит только несколько файлов для обработки. .. Также есть какой-то другой код, используемый вами .. кроме вышеупомянутого ...
Ninad Ajnikar 07 янв. 2015, в 02:38
0

Похоже, что это в значительной степени зависит от вашей файловой системы - ext3 (и ext4) имеют огромные улучшения по сравнению с (устаревшим) ext2, опция под названием dir_index (не знаю, если это по умолчанию), кажется, решает эту проблему - по крайней мере, до 1 миллиона записи каталога (по каталогу).
AMADANON Inc. 07 янв. 2015, в 02:43
0

@NinadAjnikar Я думаю, что вы правы, количество файлов в каталоге сильно влияет на время загрузки, а не на длину пути. Длина пути просто коррелирует с количеством файлов. Так что, когда число большое, оно должно быть медленным, какое-либо решение для этого?
Ryan 07 янв. 2015, в 02:48
0

Для 500 000 файлов в BTRFS ls -f|wc -l (которая читает весь каталог, но не отображает его) занимает 0,4 секунды, для сортировки это занимает 7 секунд. кошка (эквивалент типа) занимает 0,001 секунды. Сам каталог (не файлы в нем) занимает 6,4 Мб.
AMADANON Inc. 07 янв. 2015, в 02:54
1

@Ryan: Я не могу придумать решение, возможно, самым простым будет равномерное хранение файлов в папках ... поэтому после сохранения 1000 файлов следующий должен храниться в папке diff ... также я думаю, что это будет Зависит от ОС, а не от PHP, поэтому вы можете попытать счастья, настроив локальную среду LAMP!
Ninad Ajnikar 07 янв. 2015, в 03:37

Показать ещё 13 комментариев

Теги:

php

lamp

1 ответ

Ещё вопросы

Покажите нам коды, и мы могли бы сказать.
Код @Raptor добавлен, спасибо большое!
как предположение: отключите любое антивирусное программное обеспечение для тестирования (если оно установлено)
Я бы не ожидал, что это будет работать медленно. Что происходит, когда вы запускаете в командной строке type filerootdir/dir1/dir2/dir3/dir4/dir5/dir6/file.txt ? Это тоже медленно? Что делать, если вы делаете тот же код, но с совершенно другим путем? Есть ли миллионы файлов в этом каталоге или они распределены по многим каталогам?
@AMADANONInc. Это не медленно, когда я набираю команду. У меня есть 5000 каталогов в filerootdir /, некоторые содержат тысячи файлов, некоторые содержат только несколько. + обновление спасибо за ваш комментарий. Я просто снова тестирую несколько разных страниц. Кажется, что когда каталог содержит больше файлов, он медленный, если он содержит меньше, он быстрее. Есть ли в этом смысл?
Можно ли изменить структуру каталогов?
@ mopo922 иерархия каталогов используется (показано пользователю), не может измениться.
Я знаю, что Linux имеет определенное количество файлов в каталоге; если вы перейдете по этому номеру, любой доступ к этому каталогу сильно замедлится.
@AMADANONInc. Очень интересно! Какое магическое число? примерно?
Я не знаю - у меня был гугл, но я не смог найти ничего конкретного.
Я не думаю, что путь вызовет большую разницу ... возможно, вы могли бы проверить, совпадают ли номера файлов в более длинном пути и в более коротком пути. Возможно, число файлов в более длинном пути слишком много ... и более короткий путь содержит только несколько файлов для обработки. .. Также есть какой-то другой код, используемый вами .. кроме вышеупомянутого ...
Похоже, что это в значительной степени зависит от вашей файловой системы - ext3 (и ext4) имеют огромные улучшения по сравнению с (устаревшим) ext2, опция под названием dir_index (не знаю, если это по умолчанию), кажется, решает эту проблему - по крайней мере, до 1 миллиона записи каталога (по каталогу).
@NinadAjnikar Я думаю, что вы правы, количество файлов в каталоге сильно влияет на время загрузки, а не на длину пути. Длина пути просто коррелирует с количеством файлов. Так что, когда число большое, оно должно быть медленным, какое-либо решение для этого?
Для 500 000 файлов в BTRFS ls -f|wc -l (которая читает весь каталог, но не отображает его) занимает 0,4 секунды, для сортировки это занимает 7 секунд. кошка (эквивалент типа) занимает 0,001 секунды. Сам каталог (не файлы в нем) занимает 6,4 Мб.
@Ryan: Я не могу придумать решение, возможно, самым простым будет равномерное хранение файлов в папках ... поэтому после сохранения 1000 файлов следующий должен храниться в папке diff ... также я думаю, что это будет Зависит от ОС, а не от PHP, поэтому вы можете попытать счастья, настроив локальную среду LAMP!

AMADANON Inc. · Answer 1 · 2015-01-06T23-50-00.000Z

Возможно, вы захотите сохранить данные в базе данных - если вы используете это количество записей, особенно если это небольшие файлы, база данных, вероятно, будет более эффективной. Прежде чем вы это сделаете, ознакомьтесь с индексами - они могут захватить правильную запись из миллиардов за небольшую долю секунды.

Абсолютно вариант, если нет решения для использования каталогов.