Копирование изображений из списка URl на мой сервер одновременно по php

Я бы создал скрипт, который читает вашу строку html файла в строке.
Вы можете сделать это с помощью fopen и fgets.

fopen("path/to/some/file", "r");
while ( ( $line = fgets( $handle ) ) !== false ) 
{
    // do somehting with $line
}

Таким образом, файл не просто анализируется в памяти, поэтому вам не нужно беспокоиться о размере

Затем после разбора каждой строки я записываю файл блокировки, содержащий текущий номер строки/индекс. Поэтому, если ваш скрипт сработает и вы перезапустите его, итерация просто пропускает каждую строку, пока текущий индекс не станет выше индекса из файла блокировки.

сценарий

Это может сработать, но, в конце концов, не следует просто копировать все. Но я надеюсь, что это поможет вам найти решение.

#!/usr/bin/env php
<?php
// I DID NOT TEST THIS! 
// but it should work.

$handle = fopen("path/to/the/html/file/containing/the/urls.html", "r");
$storage = "path/where/you/want/your/images/";
$lockFile = __DIR__.'/index.lock';
$index = 0;

// get the lock index
if ( !file_exists( $lockFile ) )
{
    file_put_contents( $lockFile, 0 );
}

// load the current index
$start = file_get_contents( $lockFile );

if ( $handle ) 
{
    // line by line step by step
    while ( ( $line = fgets( $handle ) ) !== false ) 
    {
        // update the 
        $index++;

        if ( $start > $index )
        {
            continue;
        }

        // match the url from the element
        preg_match( '/<a href="(.+)">/', $line, $url ); $url = $url[1];

        $file = basename( $url );

        // check if the file already exists 

        if ( !file_exists( $storage.$file )) //edited 
        {
            file_put_contents( $storage.$file, file_get_contents( $url ) );
        }

        // update the lock file
        file_put_contents( $lockFile, $index );
    }

    fclose($handle);
} 
else 
{
    throw new Exception( 'Could not open file.' );
}