Как читать большой файл построчно?

397

Я хочу читать файл построчно, но без полной загрузки в память.

Мой файл слишком велик, чтобы открывать его в памяти, и если я пытаюсь это сделать, я всегда выхожу из памяти.

Размер файла составляет 1 ГБ.

  • 0
    см мой ответ по этой ссылке
  • 7
    Вы должны использовать fgets() без параметра $length .
Показать ещё 1 комментарий
Теги:

13 ответов

632

Вы можете использовать функцию fgets() для чтения файла по строкам:

$handle = fopen("inputfile.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        // process the line read.
    }

    fclose($handle);
} else {
    // error opening the file.
} 
  • 3
    Как этот счет too large to open in memory часть?
  • 55
    Вы не читаете весь файл в памяти. Максимальный объем памяти, необходимый для запуска, зависит от самой длинной строки на входе.
Показать ещё 8 комментариев
116
if ($file = fopen("file.txt", "r")) {
    while(!feof($file)) {
        $line = fgets($file);
        # do same stuff with the $line
    }
    fclose($file);
}
  • 7
    Как сказал @ Cuse70 в своем ответе, это приведет к бесконечному циклу, если файл не существует или не может быть открыт. Проверьте if($file) перед циклом while
  • 7
    Я знаю, что это старый, но: использование while (! Feof ($ file)) не рекомендуется. Посмотрите здесь.
Показать ещё 2 комментария
72

Вы можете использовать класс объектно-ориентированного интерфейса для файла - SplFileObject http://php.net/manual/en/splfileobject.fgets.php (PHP 5 >= 5.1.0)

<?php

$file = new SplFileObject("file.txt");

// Loop until we reach the end of the file.
while (!$file->eof()) {
    // Echo one line from the file.
    echo $file->fgets();
}

// Unset the file to call __destruct(), closing the file handle.
$file = null;
  • 2
    намного более чистое решение. спасибо;) еще не использовал этот класс, здесь есть более интересные функции для изучения: php.net/manual/en/class.splfileobject.php
  • 5
    Благодарю. Да, например, вы можете добавить эту строку раньше, пока $ file-> setFlags (SplFileObject :: DROP_NEW_LINE); для того, чтобы опустить новые строки в конце строки.
Показать ещё 3 комментария
35

Если вы открываете большой файл, вы, вероятно, захотите использовать генераторы вместе с fgets(), чтобы избежать загрузки всего файла в память:

/**
 * @return Generator
 */
$fileData = function() {
    $file = fopen(__DIR__ . '/file.txt', 'r');

    if (!$file)
        die('file does not exist or cannot be opened');

    while (($line = fgets($file)) !== false) {
        yield $line;
    }

    fclose($file);
};

Используйте его следующим образом:

foreach ($fileData() as $line) {
    // $line contains current line
}

Таким образом вы можете обрабатывать отдельные строки файлов внутри foreach().

Примечание. Генераторы требуют >= PHP 5.5

  • 3
    Это должен быть принятый ответ. Это в сто раз быстрее с генераторами.
  • 1
    И ваааааааа более эффективная память.
27

Используйте методы буферизации для чтения файла.

$filename = "test.txt";
$source_file = fopen( $filename, "r" ) or die("Couldn't open $filename");
while (!feof($source_file)) {
    $buffer = fread($source_file, 4096);  // use a buffer of 4KB
    $buffer = str_replace($old,$new,$buffer);
    ///
}
  • 1
    это заслуживает большей любви, так как будет работать с огромными файлами, даже с файлами без возврата каретки или слишком длинными строками ...
  • 0
    Я не был бы удивлен, если бы OP действительно не заботился о фактических строках и просто хотел, например, подать загрузку. В этом случае этот ответ очень хорош (и то, что в любом случае сделает большинство PHP-кодеров).
24

Существует функция file(), которая возвращает массив строк, содержащихся в файле.

foreach(file('myfile.txt') as $line) {
   echo $line. "\n";
}
  • 26
    Все файлы объемом один ГБ будут считаны в память и преобразованы в массив размером более одного ГБ ... удачи.
  • 4
    Это был не ответ на заданный вопрос, но он отвечает на более распространенный вопрос, который возникает у многих людей при поиске здесь, так что это все равно было полезно, спасибо.
Показать ещё 3 комментария
13
foreach (new SplFileObject(__FILE__) as $line) {
    echo $line;
}
  • 0
    Должен любить oneliners
6

Будьте осторожны с материалом while (! feof... fgets(), fgets может получить ошибку (returnfing false) и цикл навсегда, не дойдя до конца файла. codaddict был ближе всего к правильному, но когда ваш ' в то время как цикл fgets заканчивается, проверьте feof, если не верно, то вы получили ошибку.

5

Вот как я справляюсь с очень большими файлами (проверено до 100G). И это быстрее, чем fgets()

$block =1024*1024;//1MB or counld be any higher than HDD block_size*2
if ($fh = fopen("file.txt", "r")) { 
    $left='';
    while (!feof($fh)) {// read the file
       $temp = fread($fh, $block);  
       $fgetslines = explode("\n",$temp);
       $fgetslines[0]=$left.$fgetslines[0];
       if(!feof($fh) )$left = array_pop($lines);           
       foreach ($fgetslines as $k => $line) {
           //do smth with $line
        }
     }
}
fclose($fh);
  • 0
    Как вы гарантируете, что блок 1024 * 1024 не сломается в середине строки?
  • 0
    @ user151496 легко !! считать ... 1.2.3.4
Показать ещё 1 комментарий
5

Одно из популярных решений этого вопроса будет иметь проблемы с новым символом линии. Его можно легко устранить простым str_replace.

$handle = fopen("some_file.txt", "r");
if ($handle) {
    while (($line = fgets($handle)) !== false) {
        $line = str_replace("\n", "", $line);
    }
    fclose($handle);
}
4

Очевидного ответа не было во всех ответах. В PHP имеется удобный анализатор потокового разделителя, созданный именно для этой цели.

$fp=fopen("/path/to/the/file", "r+");
while ($line = stream_get_line($fp, 1024 * 1024, "\n"))
{
echo $line;
}
fclose($fp);
  • 1
    fopen требует 2 параметра.
  • 0
    @AkimKelar Как же это не будет «подходящим» в этом случае? Это сделано для этого случая и современная замена для Fgets. Было бы здорово иметь объяснение, как это не "подходит"
Показать ещё 1 комментарий
2

SplFileObject полезен, когда речь идет о работе с большими файлами.

function parse_file($filename)
{
    try {
        $file = new SplFileObject($filename);
    } catch (LogicException $exception) {
        die('SplFileObject : '.$exception->getMessage());
    }
    while ($file->valid()) {
        $line = $file->fgets();
        //do something with $line
    }

    //don't forget to free the file handle.
    $file = null;
}
-8

Функция чтения с возвратом массива

function read_file($filename = ''){
    $buffer = array();
    $source_file = fopen( $filename, "r" ) or die("Couldn't open $filename");
    while (!feof($source_file)) {
        $buffer[] = fread($source_file, 4096);  // use a buffer of 4KB
    }
    return $buffer;
}
  • 4
    Это позволило бы создать один массив объемом более одного ГБ в памяти (удачи с ним), разделенный даже не на строки, а на произвольные 4096 символов. С какой стати вы хотите это сделать?

Ещё вопросы

Сообщество Overcoder
Наверх
Меню