PHP: Как получить случайную строку в большом файле быстрее?

Question

PHP: Как получить случайную строку в большом файле быстрее?

0

У меня есть 1 файл txt со 100 000 строк. Можете ли вы узнать, как можно получить 1 строку быстрее всего? Большое спасибо !

Ban 11 дек. 2014, в 16:27

Источник

0

почему бы вам не сравнить свои идеи ... $line = file($filename)[rand(0,100000)]; может быть один тест, который вы запускаете
CᴴᵁᴮᴮʸNᴵᴺᴶᴬ 11 дек. 2014, в 14:50
1

Вам придется зацикливаться, чтобы найти количество строк. Смотрите этот ответ stackoverflow.com/a/20537130/1281385
exussum 11 дек. 2014, в 14:51
0

Предложение Дэнни Хирна будет быстрее, но используйте больше памяти. exussums почти не использует память, но будет работать медленнее.
Flosculus 11 дек. 2014, в 14:53
1

Зависит от желаемой случайности в каждой строке. Тривиальный абстракции было бы просто fseek в произвольное положение байта, читать достаточно большой windoe (8K?) , А затем найти ближайший разрыв строки, и извлекать между этим и следующим.
mario 11 дек. 2014, в 15:16

Показать ещё 2 комментария

Теги:

php

performance

line

1 ответ

Ещё вопросы

почему бы вам не сравнить свои идеи ... $line = file($filename)[rand(0,100000)]; может быть один тест, который вы запускаете
Вам придется зацикливаться, чтобы найти количество строк. Смотрите этот ответ stackoverflow.com/a/20537130/1281385
Предложение Дэнни Хирна будет быстрее, но используйте больше памяти. exussums почти не использует память, но будет работать медленнее.
Зависит от желаемой случайности в каждой строке. Тривиальный абстракции было бы просто fseek в произвольное положение байта, читать достаточно большой windoe (8K?) , А затем найти ближайший разрыв строки, и извлекать между этим и следующим.

Maxim Krizhanovsky · Accepted Answer · 2014-12-12T07-01-00.000Z

Самый быстрый способ - создать индекс (простой массив, содержащий позицию в файле каждой новой строки). Затем выберите случайный ключ, получите позицию, fseek файл в эту позицию и прочитайте строку. Это потребует обновления индексного файла в любое время, когда вы измените файл, но если вы хотите оптимизировать извлечение данных, это так.

Вы можете еще больше оптимизировать, разделив файл в диапазонах (например, очертить данные) или имея несколько представлений файла (например, вы можете иметь файл с перевернутыми линиями, поэтому последний должен быть первым, а если ваше случайное число больше половины элементы, которые вы читаете из второго файла)