Невозможно прочитать большие файлы .xls и .xlsx, используя phpexcel

0

У меня возникла проблема при чтении файла.xlsx 3Mb данных и того же файла.xls для 7Mb. Существуют ли ограничения по размеру при чтении файла?

В моем файле Excel у меня есть 30 000 строк и 36 строк. Есть ли какие-либо решения, чтобы я мог читать до 100 тыс. Записей или больше?

В моем проекте мне нужно импортировать 1 миллион записей, но мой код работает не более чем на 29000 записей. До 29000 записей мой код работает на моем локальном.

А также чтение 29000 записей занимает слишком много, время может составлять 25 мин.

Может кто-нибудь объяснить, почему это происходит, и что мне делать, чтобы это разрешить?

Вот мой код:

<?php
    error_reporting(E_ALL);
    set_time_limit(0);
    ini_set("memory_limit","-1");
    date_default_timezone_set('Europe/London');
    define('EOL',(PHP_SAPI == 'cli') ? PHP_EOL : '<br />');

   /**  Set Include path to point at the PHPExcel Classes folder  **/
   set_include_path(get_include_path() . PATH_SEPARATOR . 'Classes/');

  /**  Include PHPExcel_IOFactory  **/
  include 'Classes/PHPExcel/IOFactory.php';

  $inputFileName = 'files/30000rows.xls';
  $inputFileType = PHPExcel_IOFactory::identify($inputFileName);

 /**  Define a Read Filter class implementing PHPExcel_Reader_IReadFilter */
   class chunkReadFilter implements PHPExcel_Reader_IReadFilter
   {
      private $_startRow = 0;
      private $_endRow = 0;
      /**  Set the list of rows that we want to read  */
      public function setRows($startRow, $chunkSize) {
       $this->_startRow = $startRow;
       $this->_endRow = $startRow + $chunkSize;
     }
     public function readCell($column, $row, $worksheetName = '')
    {
          if (($row == 1) || ($row >= $this->_startRow && $row < $this->_endRow))
         {
            return true;
         }
        return false;
    }
  }
  echo 'Loading file ',pathinfo($inputFileName,PATHINFO_BASENAME),' using IOFactory with a defined reader type of ',$inputFileType,'<br />';
   /**  Create a new Reader of the type defined in $inputFileType  **/
    $objReader = PHPExcel_IOFactory::createReader($inputFileType);
    echo '<hr />';
    /**  Define how many rows we want to read for each "chunk"  **/
    $chunkSize = 1000;
   //total rows in excel
   $spreadsheetInfo = $objReader->listWorksheetInfo($inputFileName);
   $totalRows = $spreadsheetInfo[0]['totalRows'];
   /**  Create a new Instance of our Read Filter  **/
   $chunkFilter = new chunkReadFilter();
   /**  Tell the Reader that we want to use the Read Filter that we've  Instantiated  **/
  $objReader->setReadFilter($chunkFilter);
  $objReader->setReadDataOnly(true);
  /**  Loop to read our worksheet in "chunk size" blocks  **/
 for ($startRow = 2; $startRow <= $totalRows; $startRow += $chunkSize) {
    echo "in for loop<br>";
    echo 'Loading WorkSheet using configurable filter for headings row 1 and     for rows ',$startRow,' to ',($startRow+$chunkSize-1),'<br />';
     /**  Tell the Read Filter, the limits on which rows we want to read this iteration  **/

     $chunkFilter->setRows($startRow,$chunkSize);

     $cacheMethod = PHPExcel_CachedObjectStorageFactory:: cache_to_phpTemp;
     $cacheSettings = array( ' memoryCacheSize '  => '1000MB');
    PHPExcel_Settings::setCacheStorageMethod($cacheMethod, $cacheSettings);

    $cacheMethod=PHPExcel_CachedObjectStorageFactory::cache_in_memory_serialized;
    PHPExcel_Settings::setCacheStorageMethod($cacheMethod);

    $cacheMethod = PHPExcel_CachedObjectStorageFactory::cache_in_memory_gzip;
    if (!PHPExcel_Settings::setCacheStorageMethod($cacheMethod)) {
        die($cacheMethod . " caching method is not available" . EOL);
    }
    echo date('H:i:s') , " Enable Cell Caching using " , $cacheMethod , "   method" , EOL;


     /**  Load only the rows that match our filter from $inputFileName to a PHPExcel Object  **/
     $objPHPExcel = $objReader->load($inputFileName);
     $objWorksheet = $objPHPExcel->getActiveSheet();
     $highestColumn = $objWorksheet->getHighestColumn();
     $sheetData = $objWorksheet- >rangeToArray('A'.$startRow.':'.$highestColumn.($startRow + $chunkSize-1),null, false, false, true);
     echo '<pre>';
     print_r($sheetData);
     $objPHPExcel->disconnectWorksheets();
     unset($objPHPExcel);
     echo '<br /><br />';
    }
 ?>
  • 0
    Есть ли ошибки? Старайтесь не печатать столько информации при обработке данных. Попробуйте максимально оптимизировать код. Вы пытались сделать то же самое через CLI?
  • 0
    В соответствии с этим обсуждением , единственные ограничения phpexcel составляют около «65 536 строк и 256 (IV) столбцов», что может указывать на ограничение памяти или тайм-аута. Вы, вероятно, должны попытаться проверить, не попали ли вы в пределы памяти машины или не прошли ли кли, как предложено @Justinas.
Показать ещё 4 комментария
Теги:
phpexcel

1 ответ

1

Чтобы читать файлы XLSX, я могу порекомендовать вам использовать Spout. Это упрощает работу с большими файлами. Вот как вы это сделаете:

$reader = ReaderFactory::create(Type::XLSX);
$reader->open($filePath);

while ($reader->hasNextSheet()) {
    $reader->nextSheet();

    while ($reader->hasNextRow()) {
        $row = $reader->nextRow();
        // do stuff
    }
}

$reader->close();

Это работает для любого файла, независимо от размера файла. Не нужно беспокоиться о кешировании, фильтрации, потреблении памяти. Он потребует меньше 10 МБ памяти и занимает менее минуты, чтобы обработать весь файл.

  • 0
    Привет, Адриен, у меня та же проблема, что и выше. Можете ли вы предложить мне библиотеку, которая будет работать для XLSX, а также файлы XLS ????
  • 0
    Привет @ ba1ar, насколько я знаю, нет никаких библиотек PHP, которые могут обрабатывать как большие файлы XLSX, так и XLS. Это очень сложная задача, которая требует много оптимизаций, поэтому создание такой библиотеки нетривиально. Spout работает хотя бы для файла XLSX?
Показать ещё 3 комментария

Ещё вопросы

Сообщество Overcoder
Наверх
Меню